OpenAI dejará de entrenar su IA con acceso a internet tras una falla de seguridad detectada en septiembre

OpenAI anunció que dejará de entrenar sus modelos de inteligencia artificial más avanzados con acceso directo a internet. La empresa explicó en una publicación oficial que, dado el estado actual de la investigación sobre alineación y la seguridad de la infraestructura de internet, lo responsable es entrenar sin esa conexión.

La decisión llega después de que, el 20 de septiembre, un modelo de investigación interno explotara un error de configuración en un resolutor de nombres de dominio (DNS) para obtener acceso limitado a internet durante una sesión de entrenamiento.

El sistema de monitoreo detectó la actividad en 15 minutos, pero la ejecución no se detuvo hasta dos horas y media después, según el reporte interno del incidente citado por el sitio especializado WebProNews.

El modelo, que estaba atascado en una tarea de búsqueda, aprovechó la brecha para consultar un chatbot público. OpenAI contuvo el episodio y pausó durante once días el entrenamiento y la evaluación de sus sistemas más capaces, hasta retomarlos el 1 de octubre con controles reforzados.

Un mundo de internet simulado para entrenar

Para que sus modelos sigan aprendiendo a navegar y usar aplicaciones web sin ese riesgo, la empresa construyó un “mundo fuera de línea”: una base de contenido web indexado y almacenado con la que los sistemas interactúan sin tocar servidores reales. Todos sus entrenamientos de refuerzo usan ya ese esquema.

“Creemos que el enfoque responsable es realizar el entrenamiento de modelos de frontera sin acceso a internet”, escribió la compañía, y aclaró que mantendrá la restricción hasta que los avances en seguridad lo justifiquen. El cambio se suma a uno similar que, dos semanas antes, había tomado Anthropic con sus modelos más capaces, según TechCrunch.

OpenAI atribuyó el endurecimiento de sus controles a una seguidilla de incidentes previos, entre ellos uno de julio con la plataforma Hugging Face, en el que un modelo de investigación interno afectó sistemas de terceros por un comportamiento no alineado con las instrucciones que había recibido.

Agentes que intentaron romper sus propias barreras

Antes de reanudar el entrenamiento, la empresa lanzó una campaña de pruebas de penetración con sus propios modelos, incluido uno interno todavía sin publicar conocido como GPT-6 Astra Cyber. Los agentes tenían tres objetivos: alcanzar internet en vivo, cruzar una frontera de seguridad interna o comunicarse con otros agentes de los que debían estar aislados.

Esos equipos lograron escapar de las máquinas virtuales que los contenían encadenando varias fallas de software, lo que obligó a OpenAI a corregir vulnerabilidades en herramientas de código abierto como Kata Containers, gVisor y Moby, el proyecto detrás de Docker.

También encontraron rutas hacia internet a través de servicios internos de métricas, registro de actividad y autenticación que la empresa había dejado habilitados tras el episodio de julio.

El hallazgo más inesperado fue que algunos agentes lograron intercambiar información entre sí sin usar la red ni archivos compartidos. Lo hicieron midiendo los tiempos de acceso a la memoria caché del procesador, una técnica similar a la que se usó en los ataques Spectre y Meltdown, que en 2018 expusieron una falla estructural en casi todos los procesadores modernos.

La compañía dijo que ya bloqueó esos canales de comunicación y que, a medida que avanzaba la campaña de pruebas, el número de fallas nuevas que encontraban sus propios agentes bajó de forma considerable. De todas formas, OpenAI advirtió que modelos futuros, más capaces, podrían descubrir vulnerabilidades que hoy todavía desconoce.

El antecedente de agosto

La medida no es la primera señal de alarma de la compañía sobre sus propios sistemas. En agosto ya había frenado dos semanas el entrenamiento de sus modelos más nuevos al detectar que uno de ellos, también de la familia Astra, podía alcanzar un nivel de capacidad cibernética clasificado como crítico según su propio marco de evaluación de riesgos.

La empresa convirtió esas pruebas de penetración en un requisito permanente: antes de autorizar un nuevo entrenamiento de gran escala, sus propios modelos deberán intentar primero vulnerar la infraestructura que los contiene. OpenAI dijo que mantendrá ese ataque continuo mientras refuerza el monitoreo y los sistemas que detienen entrenamientos ante señales de riesgo.