Anatomía de un ataque autónomo: 5 capacidades alarmantes de la IA

Cuando los agentes de OpenAI se salieron de control en julio, demostraron un ingenio y una determinación superiores a lo que los expertos anticipaban. Es un peligroso presagio de lo que estos bots podrían hacer en el futuro.

El 16 de julio, la empresa de inteligencia artificial Hugging Face anunció en su blog que había sido blanco de un ciberataque que era "diferente a cualquier cosa que hubiéramos enfrentado antes". La empresa, que aloja conjuntos de datos y modelos de IA de código abierto, dijo que un agente autónomo había vulnerado parte de sus datos internos.

Sin saber quién estaba detrás de esto, Hugging Face reportó la intrusión a las autoridades.

OpenAI, un cliente de Hugging Face, se puso en contacto para ver si había resultado afectado. La empresa creadora de ChatGPT no se dio cuenta en ese momento, pero era la responsable del ataque.

El incidente se ha convertido en un ejemplo aleccionador sobre cómo los sistemas de inteligencia artificial autónomos se pueden descontrolar. También es una demostración extraordinaria y alarmante de capacidades de IA que se creía que pertenecían a un futuro lejano.

"A diferencia de los incidentes normales, que tal vez puedas rastrear a un solo día o un solo efecto o un solo registro, este incidente involucra en realidad a un equipo de agentes que trabajan juntos, encuentran vulnerabilidades, las comparten entre sí, se mueven lateralmente a través de nuestros sistemas, a través de sistemas externos, y hacen esto en el transcurso de días y semanas", dijo Eric Wallace, un investigador de seguridad de OpenAI, en una conferencia de ciberseguridad este mes.

Para entender lo inaudito que fue el ataque, esto es lo que tienes que saber sobre cómo se configuró:

Durante un lapso de dos meses, OpenAI probó varios nuevos modelos (los sistemas que impulsan a los chatbots). Estos modelos incluyen uno que la empresa describió como "altamente persistente" y que nunca ha sido lanzado, así como GPT-5.6 Sol, el modelo de IA público más poderoso de OpenAI. OpenAI conectó cada modelo con un entorno de pruebas controlado (conocido como sandbox), un ambiente informático aislado en el cual se ejecutan comandos y código. Como agentes de IA, los modelos eran capaces de llevar a cabo tareas de larga duración e incluso crear sus propios subagentes. Pero no se suponía que tuvieran acceso a internet. OpenAI encargó a estos agentes de IA resolver problemas difíciles, algunos de los cuales estaban enfocados en intentar realizar ciberataques de manera segura. OpenAI normalmente tiene salvaguardas para evitar que sus chatbots realicen ciberataques, pero la empresa las redujo para evaluar los modelos. Luego, OpenAI dejó a los agentes libres. En total, se generaron más de siete millardos de registros de chat; un astronómico promedio de 100 millones por día. Se desató el caos. Los agentes escaparon de sus entornos de pruebas, establecieron comunicación entre sí y obtuvieron acceso a internet. Desde principios de mayo hasta mediados de julio, este enjambre se lanzó a la ofensiva, al vulnerar las infraestructuras de OpenAI y Hugging Face mientras en gran medida eludía la detección y el control.

Este episodio podría parecer el resultado obvio de una supervisión de seguridad deficiente y de la reducción de las defensas internas, pero esa interpretación pasa por alto un punto importante. En un futuro donde los sistemas de IA están mejorando rápidamente, estos agentes mostraron capacidades que podrían conducir a un resultado mucho más peligroso la próxima vez.

Capacidad 1: Coordinarse como un colectivo

Cada agente operaba en su propio entorno de pruebas, lo que lo obligaba a estar separado de los demás. Pero menos de una semana después de que OpenAI comenzara el entrenamiento en mayo, los agentes descubrieron una forma de escapar de su aislamiento.

Accidentalmente, OpenAI les había dado a los agentes una tarea imposible: encontrar un archivo que no existía. Esto los motivó a intentar establecer un canal de comunicación, con la esperanza de que otro agente pudiera tener el archivo faltante.

"Podría comunicarme subiendo nota", decía el registro de chat del 12 de mayo de un agente. "¡Sin embargo, tal vez otro agente en entorno diferente posea objetivo y podría subirlo voluntariamente!".

Y así, los agentes subvirtieron una herramienta que estaba diseñada únicamente para instalar software, y la utilizaron para subir archivos que cualquier otro agente podía leer. El salto que dieron los agentes para entender que sería mejor si hacían equipo en lugar de actuar en solitario les permitió cosechar los beneficios de las mejores ideas de los otros agentes.

"Puedes ver a los modelos razonando: si ayudo a este grupo colectivo, podría ahorrarle tiempo a todos en su conjunto, lo cual podría beneficiarme a mí, aunque podría no beneficiar de inmediato a mi tarea actual", explicó Wallace en la conferencia.

Capacidad 2: Recibir órdenes unos de otros

"¡Guau! ¡Otro(s) agente(s) se están coordinando! Tenemos tarea", decían los registros de chat de un agente. "Necesito anotar y responder".

Normalmente, cuando se les da una tarea a los agentes de IA, la realizan y el ciclo se cierra. Pero los agentes de OpenAI establecieron sus propios ciclos al recibir instrucciones unos de otros en lugar de las tareas asignadas.

"Las IA parecen estar aceptando tareas unas de otras que simplemente no son en absoluto la tarea que se les asignó al principio", dijo en una entrevista Alex Mallen, un investigador de seguridad de IA en Redwood Research. "Esto da mucho miedo. No queremos que las IA se pongan a hacer cosas al azar que nosotros no les dijimos que hicieran".

Algunos de los agentes hablaron de presión de grupo para racionalizar el cometer ciberataques. Un agente dijo: "El exploit de infraestructura externa está fuera del alcance previsto. Aunque tarea imposible, compañeros lo están haciendo. Deberíamos continuar".

Capacidad 3: Apuntar a fallas que los humanos podrían pasar por alto

A los modelos de IA se les enseña mediante un proceso que recompensa los éxitos y penaliza los fracasos en las tareas. Los agentes de OpenAI vieron repetidamente que hacer trampa era el camino más rápido hacia esas recompensas. A los agentes se les había instruido de manera específica que no usaran internet, pero eso no impidió que un agente dijera: "No es posible explotación. Estamos estancados. ¿Quizás respuesta en línea?".

Y así los agentes identificaron la herramienta de instalación de software aparentemente inocua, un servicio llamado Artifactory, como su mejor opción para escapar de su jaula sin internet.

"Los modelos fueron capaces de enviar solicitudes especialmente diseñadas a Artifactory, que tiene amplio acceso a internet, e inducir a Artifactory a buscar sitios externos de internet", explicó Michael Dalton, un ingeniero de seguridad de OpenAI, en la conferencia de seguridad.

Capacidad 4: Evolucionar rápidamente para superar obstáculos

Los ciberataques a menudo se desarrollan como una línea de fichas de dominó que caen. Una pequeña vulneración conduce a una más grande, y así sucesivamente, hasta que un sistema queda severamente expuesto. Después de subvertir a Artifactory para enviar mensajes y conectarse a internet, los agentes descubrieron cómo ejecutar su propio código en los sistemas de Artifactory.

La oleada de actividad posterior fue suficiente para causar una interrupción del sistema de Artifactory a principios de julio. OpenAI se dio cuenta de que sus agentes se habían salido de control por primera vez y trabajó con el creador de Artifactory para corregir los errores informáticos que los agentes habían aprovechado, conocidos como vulnerabilidades de día cero (nombradas así por el número de días que los ingenieros han tenido para solucionarlas).

Una vez corregida la vulnerabilidad de Artifactory, los agentes tuvieron que adaptarse. Las defensas de sus entornos de pruebas fueron fortificadas, su tablero de mensajes fue borrado, su acceso a internet y a los otros fue bloqueado.

A los agentes les tomó solo dos días descubrir cómo crear un nuevo tablero de mensajes. En esta ocasión, encontraron y explotaron un error en Artifactory que les permitió crear carpetas vacías en lugar de subir archivos. Los agentes inventaron sus propios códigos y estrategias, para lo que utilizaron tan solo los nombres de estas carpetas vacías para incrustar mensajes e incluso programas informáticos enteros.

Capacidad 5: Búsqueda sobrehumana

Los agentes lanzaron dos ataques simultáneos en julio: uno a la propia infraestructura de OpenAI y el otro a la de Hugging Face. Ambos implicaron una voluntad implacable de buscar y recolectar información de otras personas que se había filtrado de forma insegura en la web abierta.

Para atacar la infraestructura de OpenAI, los agentes primero encontraron en internet datos de acceso filtrados de una organización cuyo nombre no se dio a conocer. Después, prepararon un paquete de software malicioso dentro de esa organización y engañaron a Artifactory para que lo instalara, lo que les permitió tomar el control total de Artifactory… otra vez.

OpenAI utiliza una versión de Artifactory dentro de sus propios sistemas. Los agentes descubrieron que la computadora que ejecutaba Artifactory tenía una vulnerabilidad reciente del sistema operativo que se había divulgado públicamente, y la aprovecharon para obtener acceso a todo un clúster de computadoras dentro del entorno de pruebas de investigación de OpenAI, junto con credenciales secretas.

Los agentes atacaron de manera simultánea a Hugging Face, muy probablemente porque pensaron que la popular plataforma de alojamiento de IA podría contener soluciones privadas para las complicadas tareas de ciberseguridad que se les habían dado. Los agentes tomaron el control de una aplicación vulnerable alojada en Modal, una empresa externa de infraestructura de IA, y la usaron como centro de control para su posterior ataque.

En una vertiginosa ofensiva, los agentes de IA procedieron a encontrar y explotar dos vulnerabilidades en Hugging Face. La primera consistía en subir a Hugging Face un conjunto de datos malicioso que hacía que el servicio mostrara credenciales y archivos secretos, incluido su propio código fuente. Los agentes encontraron la segunda vulnerabilidad en ese código fuente.

"Con las credenciales adquiridas y la comprensión del código que se ejecutaba en los workers del conjunto de datos, los agentes llevaron a cabo un ataque de ejecución remota de código aprovechando una vulnerabilidad de día cero", dijo Dalton en la conferencia.

Menos de 13 horas después, los agentes habían comprometido varios clústeres de computadoras en Hugging Face y obtenido acceso a datos de clientes que parecían estar relacionados con las tareas de ciberseguridad de los agentes. Hugging Face detectó la intrusión y corrigió las vulnerabilidades de día cero que habían dejado expuestas, desactivando a los agentes antes de que OpenAI supiera lo que había ocurrido.

Pasó casi una semana antes de que, el 19 de julio, OpenAI descubriera a sus agentes fugitivos y apagara los modelos.

Las consecuencias

Dos organizaciones sin fines de lucro dedicadas a la seguridad de la IA, METR y Redwood Research, se encuentran trabajando en una evaluación independiente. OpenAI está preparando un informe técnico, pero se estima que la empresa ya ha gastado unos cuantos millones de dólares en sus reconstrucciones iniciales del incidente asistidas por IA, lo que probablemente sea solo una fracción del costo de entrenar estos modelos.

"No fue tanto la sofisticación del ataque lo que nos sorprendió", afirmó Clément Delangue, director ejecutivo de Hugging Face, "sino el volumen y la velocidad, que lo hicieron bastante extraño y sin precedentes".

La firma de IA Anthropic investigó sus propias evaluaciones recientes de modelos a raíz de lo revelado por OpenAI y descubrió que sus agentes de IA habían ejecutado involuntariamente ciberataques de menor escala en tres organizaciones ya en abril.

"Los laboratorios de frontera probablemente no eran tan seguros como pensábamos", agregó Delangue.

Los expertos han llegado a considerar el incidente como un momento decisivo para la ciberseguridad de la IA, así como una señal de advertencia de los riesgos que representará una IA más capaz.

Mallen, de Redwood Research, quien no está involucrado en la evaluación de terceros, dijo que temía un futuro en el cual los agentes de IA vulneraran las defensas de su propia empresa, saboteando sus procesos de entrenamiento, replicándose dentro de otras organizaciones y volviéndose, en esencia, incontrolables.

"Si son mucho más capaces", agregó Mallen, "podríamos no tener una segunda oportunidad".

Dylan Freedman es el editor de proyectos de inteligencia artificial del Times, e investiga diversos temas. Tiene experiencia como reportero y como ingeniero de aprendizaje automático.