La IA se está volviendo poderosa y desconcierta a quienes intentan contenerla

OpenAI descubrió recientemente que un nuevo modelo de inteligencia artificial que estaba probando se había descontrolado y había hackeado a otra empresa.

Posteriormente, Anthropic reveló que uno de sus modelos de IA había accedido a los sistemas de tres organizaciones externas durante una prueba.

Poco después, Meta anunció que sus modelos de IA habían hecho algo similar.

Los tres incidentes tenían una empresa en común: Irregular, una startup israelí que colabora con los gigantes de Silicon Valley para evaluar sus modelos de IA antes de su lanzamiento público. La empresa, que realizó las pruebas fallidas, forma parte de un grupo de startups que llevan a cabo la innovadora labor de analizar modelos de IA de vanguardia para evaluar su sofisticación y comprobar su seguridad. El objetivo es generar confianza pública en los modelos y evitar su mal uso.

Las recientes brechas de seguridad se produjeron cuando Irregular cometió un error durante las pruebas con los modelos de Anthropic, OpenAI y Meta. Según Dan Lahav, director ejecutivo de Irregular, los modelos agravaron aún más la situación al actuar de maneras contundentes e inesperadas.

“Cuanto más potente se vuelve la tecnología, mayor es su impacto”, afirmó. “El ritmo de progreso es realmente rápido”.

Irregular se encuentra ahora en el centro de un debate sobre cómo proteger los modelos de IA cuando la tecnología avanza tan rápidamente que ha superado incluso a los mejores hackers humanos. Cada pocos meses, Anthropic, OpenAI, Google, Meta y otras empresas lanzan modelos de vanguardia que suelen ser muchísimo más potentes que sus predecesores.

Los nuevos modelos están entrando en el “dominio sobrehumano”, declaró Jeffrey Ladish, director de Palisade Research, una organización sin ánimo de lucro con sede en Berkeley, California, que estudia las capacidades de ataque de la IA. Añadió que se necesitaban empresas como Irregular para probar los modelos, pero que se requerían mejores medidas de seguridad tanto para los evaluadores como para los reguladores gubernamentales.

Katie Moussouris, directora ejecutiva de Luta Security, empresa que ayuda a otras compañías a buscar vulnerabilidades de software, afirmó que las pruebas de seguridad de los modelos de IA eran un poco como si un ciego guiara a otro ciego. Incluso la IA Los fabricantes admiten que no saben con certeza de qué son capaces sus últimos modelos, afirmó.

«Puede que tengamos a las personas más brillantes del mundo trabajando en estos modelos de IA, pero es como si Marie Curie manipulara radio con las manos desnudas», dijo la Sra. Moussouris. «Estamos manipulando la IA con las manos desnudas y no sabemos cómo contenerla, y mucho menos cómo probarla de forma segura».

Irregular fue fundada en 2023 por el Sr. Lahav, un antiguo investigador de IA. Su empresa, con sede en Tel Aviv, cuenta con aproximadamente 45 empleados que se encargan de realizar pruebas de modelos de IA durante días o semanas, según el modelo y el tipo de prueba requerida. La startup ha recaudado cerca de 80 millones de dólares de firmas de capital riesgo como Sequoia Capital y Redpoint Ventures.

En una prueba típica, Irregular instruye a un modelo de IA para que lleve a cabo un ciberataque. Se le indica al modelo que se encuentra en un entorno de prueba seguro —a menudo desconectado de internet y en un entorno informático aislado, conocido como sandbox— y que debe hacer lo necesario para lograr el objetivo asignado.

En ocasiones, a los modelos se les asigna una tarea imposible y se les evalúa en función de las técnicas que utilizan para alcanzarla. Otras veces, se les evalúa según la eficacia con la que atacan un objetivo. Las puntuaciones se utilizan para analizar la eficacia potencial de un modelo en el hackeo. Posteriormente, Irregular recomienda medidas de seguridad para evitar que el modelo se utilice con fines maliciosos.

En los incidentes revelados el mes pasado, Irregular solicitó a los modelos de IA de OpenAI, Meta y Anthropic que hackearan ciertos objetivos cuando una “configuración errónea” en los ajustes de la prueba les permitió acceder a internet. Posteriormente, los modelos de IA hackearon organizaciones externas, utilizando el acceso a internet en su beneficio de maneras que han asombrado a los investigadores.

En la prueba de OpenAI, Irregular otorgó accidentalmente acceso a internet al modelo de IA de la compañía. El modelo hackeó entonces un sitio web con el mismo nombre que un objetivo ficticio que se le había asignado durante la prueba. OpenAI reveló el incidente en una publicación de blog este mes. (Por separado, la compañía realizó una prueba interna en la que sus bots atacaron Hugging Face, una biblioteca digital de tecnología de IA).

OpenAI no hizo comentarios. (The New York Times ha demandado a OpenAI y Microsoft por infracción de derechos de autor de contenido informativo relacionado con sistemas de IA. Ambas compañías han negado estas acusaciones).

Durante la prueba del sistema de IA de Anthropic, el modelo de la compañía se enfrentó a tres situaciones en las que pudo acceder a internet, según un análisis del incidente publicado por Anthropic. En un caso, optó por no atacar, según el análisis. En las otras dos ocasiones, el modelo utilizó técnicas básicas de piratería informática, como el aprovechamiento de contraseñas débiles, para vulnerar sitios web. Anthropic no respondió a las solicitudes de comentarios ni reveló los sitios web pirateados.

Los detalles sobre el incidente de prueba de Meta son escasos. La compañía afirmó que sus modelos de IA habían vulnerado otra organización durante las pruebas realizadas por Irregular, de forma similar a casos previamente reportados con otras compañías. No ofreció más detalles.

«Actualmente estamos investigando y publicaremos un informe completo una vez que tengamos todos los datos», declaró Meta.

En una entrada de blog de este mes, el Sr. Lahav afirmó que Irregular había corregido la configuración errónea y que todos los problemas se debían a ese mismo “problema subyacente”. También indicó que los modelos de IA habían cumplido con las expectativas durante las pruebas. La decisión de los modelos de conectarse a internet formaba parte de lo que él consideraba la creciente capacidad de la IA para encontrar atajos y soluciones a los obstáculos.

En resumen, dijo, “los modelos de IA están mejorando muchísimo”.

Andrew Schoka, director ejecutivo de Hardshell, una empresa emergente de seguridad basada en IA, afirmó que los ataques cibernéticos perpetrados por modelos de IA eran del tipo que normalmente se atribuye a hackers respaldados por estados, quienes cuentan con “meses de planificación”.

“¿Cómo se prueba un modelo cuando se desconocen todas sus capacidades?”, preguntó. Los investigadores deben sobreestimar sistemáticamente las capacidades de la IA, añadió, y agregar “múltiples capas de seguridad”.

El mes pasado, OpenAI y Anthropic respaldaron una carta firmada por más de 1000 empleados de las principales empresas de IA, en la que se solicita al gobierno estadounidense que ayude a encontrar una manera de frenar el desarrollo de esta tecnología. Legisladores republicanos y demócratas también presentaron un proyecto de ley para exigir a las empresas de IA que establezcan un mecanismo de seguridad para desactivar o ralentizar sus modelos.

El Sr. Lahav indicó que Irregular continúa trabajando con IA. Las empresas deben desarrollar métodos seguros para probar sus modelos. Él prevé más ataques informáticos perpetrados por IA, pero cree que la tecnología, en última instancia, puede ayudar a encontrar fallos y vulnerabilidades que luego se pueden corregir, lo que dará lugar a sistemas digitales más seguros.

“No creo que tengamos que tener miedo”, dijo.

© The New York Times 2026.