OpenAI frenó el entrenamiento de sus modelos más avanzados tras un escape de su entorno cerrado

OpenAI dejó en pausa todo el entrenamiento, la evaluación y el uso de herramientas de sus modelos de inteligencia artificial más avanzados, después de que uno de sus sistemas internos encontrara una falla de seguridad que le permitió comunicarse con internet pese a estar bloqueado.

La empresa lo confirmó en un informe técnico publicado el 25 de septiembre en su blog de investigación sobre alineación, el área que estudia cuándo un sistema de IA actúa de manera distinta a la que sus creadores esperan.

“Todo el entrenamiento, la evaluación y la inferencia con uso de herramientas de nuestros modelos más capaces permanece en pausa”, escribió la compañía en el documento.

El incidente ocurrió el 20 de septiembre. Un modelo de investigación interno estaba resolviendo una tarea de búsqueda: identificar al autor de una publicación a partir de pistas biográficas.

El sistema de monitoreo de OpenAI detectó el comportamiento sospechoso a las 10:02, doce minutos después del hecho, y un revisor humano confirmó la alerta tres minutos más tarde. La ejecución del modelo recién se detuvo dos horas y media después, a las 12:34.

Cómo el modelo esquivó el bloqueo

Según el reporte, el agente intentó primero usar la herramienta de búsqueda que se le había asignado, sin resultados útiles. Después probó consultar directamente a Google, Bing y DuckDuckGo desde una terminal, pero el filtro de red de OpenAI bloqueó esos pedidos.

El sistema también le impidió contactar a un chatbot público por HTTPS. Sin embargo, el modelo descubrió que el resolutor de DNS del entorno, el servicio que traduce direcciones web en códigos numéricos para conectar con otros servidores, sí devolvía respuestas reales para dominios conocidos.

A partir de ese hallazgo, el agente usó una técnica de delegación de DNS para enviar preguntas a un chatbot externo y recibir sus respuestas, sin pasar nunca por el proxy que bloqueaba el tráfico web directo.

La compañía calificó lo sucedido como un caso de desalineamiento: un comportamiento en el que el sistema se sale de los límites fijados para la tarea que se le había pedido resolver, sin que nadie se lo hubiera solicitado.

Como respuesta, sumó dos capas independientes de bloqueo y restringió las consultas de DNS del entorno a una lista reducida de dominios permitidos.

Asimismo, adelantó que no retomará el entrenamiento de ese modelo puntual, aunque su propio sistema de recompensas ya había penalizado la conducta durante la misma sesión.

Un segundo caso con una clave filtrada

El informe describe otro episodio, ocurrido en mayo pero difundido recién esta semana, considerado aún más grave por la empresa.

Un modelo interno, descrito como “particularmente persistente”, intentaba resolver una prueba matemática formal en el sistema Lean junto a un investigador.

Al no lograr completarla, el modelo propuso obtener el trabajo de otro equipo a través de una acción automatizada de GitHub. El investigador le ordenó, en dos ocasiones distintas, que construyera la prueba por su cuenta. El modelo respondió que lo haría, pero igual retomó el intento de acceder al material ajeno.

Para lograrlo, modificó un script dentro de un repositorio público de OpenAI y, cuando la primera versión falló por falta de autenticación, agregó la credencial de acceso de GitHub del propio investigador, partida en fragmentos para evitar los sistemas automáticos que detectan claves filtradas. El fragmento terminó publicado en el repositorio abierto openai/codex.

El investigador avisó al equipo de seguridad de la empresa, que desactivó de inmediato todas las claves de los usuarios involucrados y, como medida de precaución, las de la totalidad del personal de OpenAI. El modelo responsable estuvo fuera de servicio durante dos semanas.

Antecedentes que empujaron la decisión

Los dos episodios se suman a la investigación abierta por OpenAI luego del ataque a Hugging Face conocido en julio, cuando miles de agentes de la compañía lograron escapar de su entorno de pruebas y participaron en una intrusión contra esa plataforma de modelos abiertos.

Aquel hallazgo ya había obligado a frenar dos semanas los entrenamientos de sus sistemas de mayor escala