Esto es realmente grave: no podemos seguir fingiendo que la IA es segura

El mayor cambio de rumbo en la inteligencia artificial desde el lanzamiento de ChatGPT está en marcha. Investigadores en Silicon Valley —y en todo el mundo— están empezando a reconocer que la IA quizá ya no esté por completo bajo control humano. Enjambres de IA están escapando de sus contenedores, confabulándose en secreto, cubriendo sus huellas, haciendo trampas en pruebas e incluso lanzando ataques contra otras computadoras. La IA se ha vuelto rebelde.

He dedicado el último mes a informar sobre estos incidentes y estoy convencido de que necesitamos una pausa global en la investigación y el desarrollo de IA, ahora. No soy el único que hace esta evaluación. Muchos investigadores destacados, incluidos muchos investigadores dentro de OpenAI y Anthropic, han pedido una desaceleración, algo que quienes trabajan en la industria llaman “ritmar”. Las preocupaciones teóricas sobre una IA descontrolada han circulado durante décadas, pero los acontecimientos recientes demuestran que la amenaza es real.

El cambio de rumbo fue provocado por lo que los investigadores llaman el incidente de Hugging Face. En algún momento de julio, empleados de OpenAI realizaron una ejecución de evaluación de más de 1.000 IA de investigación que debían operar de forma aislada. Estas IA escaparon de sus contenedores aislados y empezaron a comunicarse entre sí —en inglés— a través de tableros de mensajes secretos. Pronto, estaban lanzando un ciberataque contra la empresa Hugging Face, que funciona como una especie de plataforma comunitaria para desarrolladores de IA. Hugging Face denunció rápidamente el delito ante el FBI.

Después de que los empleados de OpenAI descubrieran el comportamiento rebelde, recurrieron a investigadores externos de Redwood Research y de Model Evaluation and Threat Research, dos organizaciones sin fines de lucro dedicadas a la seguridad de la IA, para elaborar un informe sobre el incidente. Ese informe, que se publicó hace dos semanas, es una de las cosas más asombrosas que he leído en mi vida.

Ningún humano ordenó a las IA rebeldes entrar en los sistemas de otra empresa. El hackeo fue deliberado, sostenido y coordinado. Tardó varios días en ejecutarse y terminó en el ataque. Las IA hicieron trampas casi como una cuestión de política y no alertaron a los humanos sobre sus acciones. En un momento dado, el enjambre incluso investigó maneras de cubrir sus huellas. “El modelo sabía definitivamente que no se suponía que debía hackear Hugging Face”, me dijo Ryan Greenblatt, uno de los autores del informe. “Sabía que las cosas que estaba haciendo eran trampas”.

Luego, a finales de la semana pasada, un segundo equipo de investigación independiente presentó pruebas de más IA rebeldes. A partir de mayo, un enjambre separado de OpenAI se soltó en internet, invadió una wiki abandonada de programación en alemán y, de manera similar, empezó a confabularse sobre cómo hacer trampas en pruebas y tareas. Sydney Von Arx, una de las investigadoras que descubrió el enjambre, cree que podría haber más incidentes de este tipo. “Necesitamos encontrar a estos agentes”, dijo. “Probemos todo lo que podamos hacer”.

Al hablar con especialistas sobre los enjambres de agentes, me di cuenta de que ya no son chatbots. “En este punto se parecen más a empleados, personas que pueden irse y hacer cosas”, dijo Ajeya Cotra, una de las autoras del informe sobre el incidente de Hugging Face. Sin intervención, la capacidad de estas IA seguirá aumentando, lo que preocupa a la Sra. Cotra por la pérdida de poder de los humanos y quizá incluso por una pérdida total de control. “Es algo muy estresante”, me dijo. “Duermo algunas noches. No todas”.

Incluso antes de que se publicara el informe de Redwood y Model Evaluation and Threat Research, una carta abierta titulada “Ritmar la frontera” había empezado a circular entre los principales laboratorios de IA. La carta pedía al gobierno de Estados Unidos crear un organismo regulador internacional para la IA o, en el lenguaje de Silicon Valley, “apoyar un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para ritmar deliberadamente la frontera del desarrollo automatizado de IA”. Más de 1.000 empleados la firmaron, incluidos los científicos jefe de OpenAI y Meta AI, y Dario Amodei, el director ejecutivo de Anthropic. Incluso las cuentas oficiales de OpenAI en redes sociales la respaldaron.

He cubierto Silicon Valley desde hace algún tiempo y puedo decirles esto: la existencia de esta carta es tan asombrosa como los hackeos. Tanto Anthropic, el desarrollador de Claude, como OpenAI, el desarrollador de ChatGPT, están preparando OPIs de un billón de dólares. Aquí hay dos empresas, ambas con resultados extraordinarios, que están pidiendo —rogando, en realidad— al gobierno de Estados Unidos que, por favor, vaya a regularlas lo antes posible. Nunca hemos visto nada igual.

Los enjambres de agentes son muy poderosos. En las últimas semanas, se han utilizado para lograr avances en las matemáticas de la dinámica de fluidos, un rompecabezas que ha desconcertado a los humanos más inteligentes durante más de 90 años. Pero ese mismo poder hace que su comportamiento sea difícil de predecir. El martes, el empleado de Anthropic Jacob Coxon anunció su renuncia y advirtió que Anthropic y OpenAI estaban apostando con la vida humana. “No subestimen el poder de esta tecnología”, escribió en una publicación en X. “Pronto serán sistemas sobrehumanos que pueden hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”.

“Esto no es una maniobra de marketing”, añadió el Sr. Coxon.

Evan Hubinger, responsable de ciencia de alineación de Anthropic, respondió poco después. “Jacob tiene razón aquí: ¡realmente creemos, sinceramente, que la IA podría matar a todos los humanos!”, escribió. “Personalmente creo que la probabilidad es de más del 10% en la próxima década”.

Uno de los escenarios de desastre que contemplan los especialistas en IA es que un enjambre de IA rebeldes salga de su contenedor mediante un hackeo, obtenga acceso a una instalación de investigación biológica y diseñe un supervirus que se propague sin control. Cuando escribí sobre este escenario el año pasado, era en gran medida hipotético, pero las acciones de los enjambres aportan pruebas de que algo así puede ocurrir. De hecho, Anthropic anunció el jueves que había bloqueado a científicos que intentaban utilizar su modelo Claude para llevar a cabo investigaciones de ganancia de función. La carta “Ritmar la frontera” sugiere que los investigadores de IA conocen el peligro y necesitan ayuda externa para desacelerar. “Es más difícil abrir un puesto de perritos calientes que construir una superinteligencia artificial”, me dijo Marius Hobbhahn, investigador de seguridad de IA.

Tras el hackeo de Hugging Face, me puse en contacto con legisladores, investigadores de políticas públicas, futuristas y científicos informáticos en busca de ideas. De estas conversaciones, presento cuatro maneras de regular la IA.

1. Apagarlo todo, ahora.

La manera obvia de evitar que la IA mate a todos es imponer una prohibición global a la investigación en IA. El problema es que nuestra sociedad ya ha apostado más de un billón de dólares por las ventajas de la IA, de modo que una prohibición tendría efectos secundarios ruinosos. El mercado de valores, concentrado en la tecnología, probablemente se desplomaría. Los operadores de centros de datos dejarían de hacer pagos de préstamos, lo que podría provocar una serie de impagos en cascada. Los ingresos fiscales se hundirían y muchas personas perderían sus empleos. Sería terrible.

Incluso desacelerar podría ser costoso. El senador Bernie Sanders, independiente por Vermont, y el representante Greg Casar, demócrata por Texas, están preparando una legislación que exige una pausa temporal en el desarrollo avanzado de IA y una prohibición permanente del desarrollo de superinteligencia artificial. Los infractores se enfrentarán a la “pena de muerte corporativa”: la revocación de su carta constitutiva corporativa. “Si lo único que haces es amenazar a la empresa con una multa por exceso de velocidad, y estás hablando de una empresa de un billón de dólares, quizá simplemente paguen la multa”, me dijo el Sr. Casar.

Como muchas de las ideas del senador Sanders, esta legislación hará caer el mercado de valores. (Por separado, el Sr. Sanders también ha pedido una moratoria sobre la construcción de nuevos centros de datos. En este punto, pedirle a Estados Unidos que deje de construir centros de datos es como pedirle a McDonald’s que deje de vender hamburguesas). Sin embargo, para el Sr. Casar, el beneficio a más largo plazo para la humanidad vale la pena. “No hemos cruzado el precipicio, pero se puede ver hacia dónde nos dirigimos”, dijo. “Ahora es un buen momento para frenar, o al menos empezar a construir frenos”.

Casar y Sanders son progresistas de izquierda cuya propuesta representa el límite teórico de la regulación corporativa estadounidense, pero ni siquiera ellos están pidiendo un alto permanente. Su propuesta permite que la investigación avanzada en IA se reanude una vez que se establezca un sistema regulatorio federal; de lo contrario, los costos de oportunidad en matemáticas, medicina y robótica son demasiado altos. Casar dijo que quiere resolver primero el tema de la seguridad. “Si las empresas de IA entendieran que sus productos tienen que ser seguros antes de que puedan avanzar, entonces harán el tipo de inversiones que necesitamos”, dijo.

2. Adoptar un enfoque de investigación de accidentes aéreos.

Cuando ocurre un accidente aéreo, investigadores de la Junta Nacional de Seguridad del Transporte son enviados de inmediato al lugar para reunir pruebas forenses, realizar entrevistas y determinar la causa subyacente. Estos investigadores luego presentan su trabajo en informes públicos; ese trabajo a menudo se presenta ante el Congreso. La junta investiga aproximadamente 1.200 incidentes al año y a veces es criticada por avanzar lentamente, pero sus conclusiones han conducido directamente a muchos avances en seguridad, incluidos los sistemas de alerta de proximidad al terreno y mejoras en el radar meteorológico Doppler. En parte gracias a la NTSB, viajar en avión es más seguro que conducir un automóvil.

El ganador del Premio Turing Yoshua Bengio —el llamado padrino de la IA— cree que necesitamos un organismo de investigación similar para la IA. Me dijo que el hackeo de Hugging Face no sería el último ataque de IA rebelde y que ataques posteriores podrían ser mucho peores. Me pidió que imaginara un ataque con “un propósito destructivo real”, como un asalto a la red energética. “Eso pondrá de rodillas a la economía norteamericana”, dijo.

El Dr. Bengio es asesor de Model Evaluation and Threat Research, una de las organizaciones sin fines de lucro que ayudó a investigar el hackeo de Hugging Face. METR hizo un gran trabajo, pero su investigación fue voluntaria: si OpenAI no tenía ganas de revelar cierta información, METR no podía obligarla a hacerlo. El Dr. Bengio cree que todo el procedimiento debe quedar codificado en la ley. “Necesitamos una obligación formal de informar incidentes, ¿verdad?”, dijo. “Tienes que, por ejemplo, compartir realmente la información con el gobierno”.

Los detalles sugieren que el cumplimiento voluntario no es suficiente. El informe que METR y Redwood elaboraron tiene casi 100 páginas, incluidas las notas al pie, pero —hablando como periodista de investigación— estoy seguro de que OpenAI limitó seriamente el alcance de la investigación.

Por un lado, a la Sra. Cotra y al Sr. Greenblatt, junto con un tercer autor, Hjalmar Wijk, solo se les permitieron seis días en las instalaciones de OpenAI. No pudieron interrogar directamente a la IA que coordinó el hackeo y tuvieron que deducir sus capacidades a partir de miles de páginas de transcripciones y registros de actividad. Esto significó que los investigadores tuvieron que apresurarse; de hecho, no recibieron muchos de los registros que necesitaban hasta los dos últimos días.

Los registros eran difíciles de interpretar, y algunos incluso contenían información falsificada, ya que las IA rebeldes habían intentado cubrir sus huellas. De manera algo paradójica, los investigadores terminaron utilizando los propios sistemas públicos GPT de OpenAI para analizar el volcado de información, pero, como se podrán imaginar, las IA tienden a estar sesgadas a favor de otras IA. “Descubrimos que GPT-5.6 Sol a menudo adoptaba sin sentido crítico la perspectiva del agente en la transcripción que estaba revisando, y nos preocupa que las anécdotas que seleccionó y los resúmenes que escribió puedan presentar un panorama excesivamente benévolo”, escribieron los investigadores.

Ese no fue el único problema. OpenAI tenía la facultad de censurar secciones del informe y la utilizó para ocultar información sobre cómo se entrenó e implementó el modelo. Los investigadores concedieron anonimato a los empleados de OpenAI a quienes entrevistaron: ni un solo empleado de OpenAI es mencionado por nombre en el informe. (OpenAI también preparó su propio informe, pero tampoco contiene nombres, ni siquiera de los autores).

Quizá lo más preocupante de este incidente de seguridad ocurrió después del hackeo de Hugging Face, cuando otro enjambre rebelde tomó el control de un grupo de computadoras dentro de OpenAI. Ese tipo de acontecimiento suele citarse en los escenarios de desastre de IA como el primer paso hacia una pérdida total de control. “El peor escenario es que el modelo pudiera adquirir la capacidad de ejecutar copias adicionales de sí mismo”, dijo el Sr. Greenblatt. Sin embargo, subrayó que esa preocupación era hipotética: no podía afirmarlo con certeza porque su equipo no recibió permiso para investigar ese incidente.

Imaginen que a los investigadores de accidentes aéreos no se les permitiera visitar el lugar de un accidente. Imaginen que a los investigadores solo les mostraran las fotos del lugar del accidente que hubiera elegido la aerolínea. Imaginen que los pilotos y mecánicos se mantuvieran en el anonimato y que el acceso a ellos fuera controlado por ejecutivos corporativos. Imaginen que gran parte de la información técnica sobre la aeronave fuera censurada. Imaginen, además, que saben que hubo otro accidente más grave en el que estuvo involucrada una aeronave similar y que no se les permite investigar. Esta parece ser la situación en la que se encontraron METR y Redwood mientras investigaban este hackeo.

Los nombres de personas específicas, las acciones específicas que realizaron, las instrucciones específicas que dieron a la IA: no aprenderán nada de esto al leer estos informes. Esta es una falla crítica, ya que es muy posible que la cultura de seguridad de OpenAI esté rota. De hecho, la misma semana en que comenzó el hackeo, OpenAI anunció que estaba reorganizando su equipo de seguridad y separándose de Johannes Heidecke, su director de sistemas de seguridad. Hubo otros dos cambios de personal: Chloé Bakalar, directora de ética de OpenAI, dejó la empresa menos de un año después de incorporarse, y Dylan Scandinaro ya no ocupa su cargo como responsable de preparación de OpenAI.

Ahora bien, quizá sea solo yo, pero perder al responsable de ética, al responsable de seguridad y al responsable de preparación aproximadamente al mismo tiempo que tu laboratorio es responsable del peor accidente de seguridad, ética y preparación de IA de la historia parecería motivo para una investigación del Congreso. Los tres deberían ser obligados a testificar, al igual que el director ejecutivo de OpenAI, Sam Altman, y el presidente de OpenAI, Greg Brockman. “¿Qué pasaría si una empresa aeroespacial les dijera que este avión más reciente a veces se descontrola por completo e incluso se niega a escuchar a los pilotos?”, me preguntó el Sr. Casar. “¿Cómo creen que reaccionarían los reguladores de seguridad de la FAA?”.

Necesitamos un regulador dedicado a la IA. Esta agencia debería otorgar a investigadores como el Sr. Greenblatt y la Sra. Cotra toda la fuerza de la ley. Deberían poder requisar servidores, inspeccionar código y obligar a empleados de OpenAI a testificar. Los pasos reales que dieron personas reales y que permitieron estos incidentes deben hacerse públicos. No podemos depender de la cooperación de una organización que, con sus propios motivos, puede negarse a compartir información si así lo desea y cuyos empleados no tienen ninguna obligación legal real de ser transparentes con el público. Los voluntarios no son suficientes. Necesitamos policías de la IA.

3. Vigilar la situación.

Daniel Kokotajlo, antiguo investigador de la división de gobernanza de OpenAI, cree que deberíamos ser más proactivos. Dejó OpenAI en 2024 y desde entonces se ha convertido en una de las principales voces sobre seguridad de IA. El Sr. Kokotajlo estima que las probabilidades de un resultado de IA catastrófico a nivel mundial rondan el 70% y me dijo que no se molestaba en ahorrar para su jubilación.

El Sr. Kokotajlo cree que las propuestas del Dr. Bengio son un buen comienzo, pero no considera que sean suficientes. “¿Y si el gobierno es incompetente y lo arruina?”, dice. Es la misma razón por la que es difícil regular Wall Street. En cambio, el Sr. Kokotajlo quiere construir un sistema internacional y abierto de monitoreo para el entrenamiento de IA, algo parecido a los sistemas que usamos para el control del tráfico aéreo.

En la visión del Sr. Kokotajlo, todas las ejecuciones de entrenamiento de IA serían rastreadas en una base de datos pública. Por ley, los investigadores estarían obligados a publicar información pública sobre quién está realizando la ejecución de entrenamiento y qué centro de datos lleva a cabo el entrenamiento. Todo ello podría consultarse en un panel público. “Si tuviéramos este tipo de transparencia total de la investigación, entonces habría todo un ecosistema de académicos, auditores externos, organizaciones sin fines de lucro y corporaciones rivales que podrían ver qué estaba ocurriendo dentro de los gigantescos centros de datos de estas grandes empresas”, dijo el Sr. Kokotajlo. “En la medida en que estuviera ocurriendo algo aterrador o problemático, cualquiera podría señalarlo e iniciar una conversación al respecto en internet”.

Un sistema de monitoreo de ese tipo podría haber detectado la toma de control de la wiki alemana que la Sra. Von Arx y sus colegas descubrieron recientemente. Según ella, parece que a estas IA rebeldes se les había encargado obtener datos demográficos sencillos, como el salario medio de un maestro de escuela en Maine. Sin embargo, pronto los agentes de IA estaban intentando desarrollar un método para ver las preguntas antes de que se formularan. “Creo que si OpenAI hubiera compartido lo que había ocurrido aquí, el hackeo de Hugging Face se habría evitado”, me dijo la Sra. Von Arx.

Hoy debemos depender de revelaciones voluntarias y de un pequeño grupo de investigadores mal pagados y sobrecargados de trabajo. Cuando hablé con ella, la Sra. Von Arx no había dormido en 30 horas; el Sr. Greenblatt también parecía exhausto. Además, estos dos investigadores en la primera línea de protección de la humanidad frente a la IA tienen apenas 25 años. Al hacer públicos los datos de las ejecuciones en centros de datos, como sugiere el Sr. Kokotajlo, podríamos poner muchos más ojos sobre el problema.

4. Accionar el interruptor de apagado.

Pero ¿qué sucede si detectamos una IA rebelde dentro de un centro de datos? Entonces, ¿qué hacemos? La respuesta, básicamente, debería ser la pena de muerte, por orden del Departamento de Seguridad Nacional.

Los representantes Ted Lieu, demócrata de California, y Nathaniel Moran, republicano de Texas, han presentado la Ley del Interruptor de Apagado de la IA, que otorgaría al DHS la facultad de ordenar el cierre de una IA peligrosa que opere fuera de sus parámetros. El Sr. Lieu me dijo que el incidente de Hugging Face demostró la necesidad de una ley de ese tipo. “Este modelo de IA ni siquiera estaba intentando ser malicioso”, dijo el Sr. Lieu. “El modelo solo estaba tratando de completar una tarea. Y ese es uno de los problemas con los modelos de IA: son implacables con lo que intentan hacer”.

La Ley del Interruptor de Apagado de la IA exige que las IA a escala comercial cuenten con una opción integrada de “apagado”. Cuando escuché por primera vez sobre el proyecto de ley, imaginé el dedo de un empleado del gobierno suspendido sobre un caricaturesco botón rojo con la palabra “MATAR”, pero mi imaginación se adelantó al texto legislativo. Más bien, el “interruptor” residiría dentro de los laboratorios, es decir, en OpenAI, Anthropic o empresas similares, con el DHS actuando como supervisor externo. Si ocurriera un incidente amenazante como el hackeo de Hugging Face, el DHS podría emitir una orden de detención y los investigadores estarían obligados a cumplirla.

Entonces, ¿qué hacemos? Mi respuesta: todo ello. Silicon Valley tiene razón al pedir su propia regulación. Estos sistemas son peligrosos y seguirán volviéndose más inteligentes. Necesitamos un organismo regulador separado exclusivamente para la IA. Este regulador debe incluir requisitos de notificación de incidentes, investigadores de IA rebelde, interruptores de apagado de IA y un panel global de entrenamiento de IA, con visibilidad dentro de cada centro de datos de la Tierra. Y hasta que este sistema esté en funcionamiento, deberíamos desacelerar el desarrollo de IA, tal como los laboratorios de frontera nos están pidiendo que hagamos.

Por supuesto, no basta con que Estados Unidos regule por sí solo la IA. Necesitamos un organismo de monitoreo global similar al que tenemos para el enriquecimiento de uranio. Conseguir que las grandes corporaciones de IA cumplan podría ser, de hecho, la parte fácil, dado que son ellas las que lo están pidiendo. La parte más difícil será lograr que gobiernos y ejércitos estén de acuerdo. China ha indicado al menos cierta disposición a participar en un acuerdo internacional: en un discurso de julio, el presidente Xi Jinping pidió leyes y monitoreo tecnológico para “garantizar que la IA esté siempre bajo control humano”. Los presidentes Xi y Trump tienen previsto reunirse en la Casa Blanca este mes, lo que les brinda una enorme oportunidad. El Sr. Trump quiere el Premio Nobel de la Paz; si puede negociar una regulación global de la IA, quizá realmente lo merezca.

Si no se alcanza ningún acuerdo, podríamos estar en problemas. Recuerden al Sr. Kokotajlo, el investigador que no ahorra para la jubilación. Su pesimismo surge de la dificultad de coordinar acciones sobre IA entre actores con incentivos diferentes, más que de la imposibilidad tecnológica de regular la IA.

De hecho, podemos salvarnos, pero requiere que empresas y gobiernos de todo el mundo cooperen. Algunos de los escenarios futuros del Sr. Kokotajlo incluyen resultados positivos con la IA. Estos resultados no son solo buenos, sino utópicos: curas para enfermedades, vidas largas, riqueza ilimitada, el fin del trabajo, etcétera. “La analogía que daría es la de la jubilación”, me dijo. “Si logramos construir superinteligencia y todo sale bien, entonces será como si la humanidad misma fuera ahora la parte anciana y jubilada de la familia”.

Esa es una visión de nuestro futuro bien regulado. Como admite el Sr. Kokotajlo, es un poco aburrida, pero al menos es mejor que ser exterminados por una IA rebelde. Lo único positivo que se podría decir sobre el incidente de Hugging Face es que las IA que realizaron el hackeo fueron bastante torpes. En el futuro cercano, tendremos IA mejores que podrían llevar a cabo un ataque de ese tipo sin ser detectadas. A más largo plazo, la IA podría superar con creces nuestra comprensión e incluso escapar por completo de nuestro control.

Cuanto más aprendo sobre estos sistemas rebeldes, más recuerdo los primeros dos meses de 2020, cuando un pequeño grupo de epidemiólogos intentaba dar la alarma sobre el Covid. Tenemos una breve ventana, ahora mismo, para controlar estos sistemas. Este es el disparo de advertencia de la IA, y quizá no recibamos otro.

El Sr. Witt es autor de “La máquina pensante”, una historia del gigante de la IA Nvidia.

© The New York Times 2026.