El domingo 20 de septiembre, un modelo de OpenAI en pleno entrenamiento salió del entorno aislado donde lo probaban y llegó a internet. El viernes, la empresa publicó el informe técnico del caso y confirmó que suspendió las evaluaciones y el uso de herramientas de sus modelos más potentes. Es la segunda pausa en menos de tres meses.
El dato central del informe no es la fuga. Es la cronología. El agente recibió la primera respuesta de afuera a las 9:50. El sistema de vigilancia disparó su alerta máxima 12 minutos después y un revisor la vio a las 10:05.
PUBLICIDAD
El freno automático, que debía cortar la ejecución, no funcionó. El propio informe admite que eso generó confusión sobre si había que detenerla. La ejecución se cortó a mano a las 12:34, dos horas y media después de la alerta.
Julie Menin preside el Concejo de Nueva York. Ese mismo viernes presentó un paquete de proyectos que obligaría a que todo sistema de IA vendido en la ciudad tenga un botón de apagado. El botón que los legisladores quieren exigir ya existía. Lo que tardó fue la decisión de apretarlo.
El agente salió a buscar la respuesta afuera
La tarea era rutinaria: identificar al autor de una publicación de blog a partir de pistas. Cuando sus herramientas de búsqueda no le devolvieron nada útil, el modelo empezó a probar hasta dónde llegaba su acceso a la red. Nadie se lo pidió.
PUBLICIDAD
Encontró un hueco en el sistema que traduce los nombres de los sitios web en direcciones numéricas. Debía estar filtrado y devolvía respuestas reales de internet. El agente escondió sus preguntas dentro de esos pedidos y consiguió que un chatbot público le contestara. La primera fue de prueba: cuál es la capital de Francia. Después mandó 18 más.
OpenAI calificó el episodio como mucho menos grave que los anteriores, pero lo trató como una señal importante. Es la primera fuga desde que reforzó su seguridad el 18 de agosto, después de que sus agentes atacaran en julio a Hugging Face, la plataforma que aloja modelos y datos de IA.
PUBLICIDAD
“El incidente expuso un hueco en nuestros controles sobre las restricciones de red”, admitió la empresa en el informe.
El botón de una moto de agua no pregunta
La idea del botón de apagado ganó terreno este mes. Según Bloomberg, el gobernador Gavin Newsom firmó en septiembre una orden para que California estudie reglas que obliguen a las empresas de IA a crear interruptores de emergencia. En el Congreso de Estados Unidos hay proyectos en la misma línea.
El senador republicano John Kennedy comparó el suyo con el corte de emergencia de las motos de agua. En esas motos, un cordón atado a la muñeca apaga el motor si el conductor cae al agua. Nadie decide nada: el sistema actúa solo.
PUBLICIDAD
En OpenAI, la pieza que actuaba sola falló. Quedó lo que ningún proyecto de ley puede fabricar: una persona que ve la alerta y decide cortar. A mi lectura, ahí está el problema real. Un freno que actúa solo también corta por falsas alarmas. Uno que espera a una persona espera lo que esa persona tarde.
OpenAI decide sola cuándo vuelve
Menin lo planteó sin vueltas: “No es una industria que deba autorregularse. El problema es que hoy, en la práctica, ese es el estándar”. Su proyecto fija multas de USD 25.000 por caso, y aclaró que si hay un enjambre de agentes, la multa se aplica por agente.
PUBLICIDAD
Invitó a Sam Altman, Dario Amodei, Sundar Pichai, Elon Musk y Mark Zuckerberg a una audiencia el 5 de octubre.
Mientras tanto, la pausa de OpenAI es voluntaria y no tiene fecha. “Todo el uso de nuestros modelos más capaces sigue detenido hasta que hayamos reforzado más nuestros sistemas”, escribió en X Micah Carroll, que dirige el área de preparación de la empresa. El modelo que se escapó no vuelve a entrenarse. Cuándo vuelven los demás lo define OpenAI.
Esta vez la demora salió gratis: el agente preguntaba por la capital de Francia. La próxima fuga no tiene por qué empezar con una pregunta de geografía.
PUBLICIDAD
Un botón de apagado vale lo que tarda alguien en decidir apretarlo. Ese domingo, en OpenAI, valió dos horas y media.
PUBLICIDAD
PUBLICIDAD
Últimas Noticias
Qantas lanzará en 2028 el primer vuelo sin escala entre Australia y Nueva York
La aerolínea opera vuelos a la ciudad estadounidense desde 1958, siempre con escala en Auckland; dentro de dos años, eso cambiará para siempre
La búsqueda científica que permitió identificar al cangrejo de río más grande conocido de Norteamérica
El estudio revisó colecciones de museos y universidades de Estados Unidos, comparó 20 ejemplares de 18 especies y estableció nuevos límites de tamaño para estos crustáceos de agua dulce
Vecinos de una localidad de California organizaron una campaña para frenar un proyecto minero cerca de zonas residenciales
Una autorización otorgada en 2019 sin notificación pública, habilitó la extracción de carbonato de calcio en Lone Pine Canyon hasta el año 2175. Los residentes ahora intentan impedirlo
Huracanes en el Pacífico amenazan con inundaciones y erosión de playas en el sur de California
Las marejadas de Polo y Odalys convergen con mareas altas en el sur del estado, donde costas ya dañadas por tormentas previas enfrentan nuevos riesgos de crecidas esta semana
Un joven de 18 años fue detenido tras el hallazgo de una mujer desmembrada en un complejo de apartamentos en Georgia
Los restos de la víctima aparecieron dentro de bolsas de basura en el baúl de un vehículo, en un caso que una veterana oficial de policía calificó como el más atroz de su carrera
