¿Cómo se prueban de forma segura los modelos de IA "sobrehumanos"? Nadie lo sabe a ciencia cierta.

Irregular, una start-up israelí, colaboró con OpenAI, Anthropic y Meta para evaluar la seguridad de sus modelos de IA. (Victor Arce/The New York Times)

SAN FRANCISCO -- OpenAI descubrió recientemente que un nuevo modelo de inteligencia artificial que estaba probando se rebeló y jaqueó otra empresa.

Anthropic entonces reveló que uno de sus modelos de IA se había colado en los sistemas de tres organizaciones externas durante una prueba.

Poco después, Meta afirmó que sus modelos de IA habían hecho algo similar.

Los tres incidentes tenían una empresa en común: Irregular, una empresa emergente israelí que colabora con los gigantes de Silicon Valley para evaluar los modelos de IA antes de que la tecnología se lance al público. La empresa --que llevó a cabo las pruebas que salieron mal-- forma parte de un grupo de empresas emergentes que realizan la novedosa labor de examinar minuciosamente los modelos de IA de vanguardia para evaluar la sofisticación y comprobar su seguridad. El objetivo es dar confianza al público con respecto a los modelos y evitar que se utilicen de forma indebida.

Las recientes brechas se produjeron cuando Irregular cometió un error durante las pruebas con los modelos de Anthropic, OpenAI y Meta; pero los modelos de IA agravaron la situación al comportarse de formas impactantes e inesperadas, según explicó el director ejecutivo de Irregular, Dan Lahav.

"Cuanto más potente se vuelve la tecnología, mayor es su impacto", afirmó. "La velocidad con la que está progresando es muy rápida".

Irregular se encuentra ahora en el centro de un debate sobre cómo proteger los modelos de IA cuando la tecnología avanza tan rápido que ha superado incluso a los mejores jáqueres humanos. De manera recurrente, Anthropic, OpenAI, Google, Meta y otras empresas lanzan modelos "de vanguardia" que suelen ser mucho más potentes que sus predecesores.

Los nuevos modelos están entrando en el "dominio sobrehumano", afirmó Jeffrey Ladish, director de Palisade Research, una organización sin ánimo de lucro con sede en Berkeley que estudia las capacidades de ataque de la IA. Señaló que se necesitan empresas como Irregular para probar los modelos, pero que se requerían mejores medidas de protección tanto para los evaluadores como para los reguladores gubernamentales.

Katie Moussouris, directora ejecutiva de Luta Security --empresa que ayuda a las empresas a detectar vulnerabilidades de software--, afirmó que las pruebas de seguridad de los modelos de IA se asemejan un poco a "un ciego guiando a otro ciego". Incluso los propios creadores de IA admiten que no saben del todo de qué son capaces los últimos modelos, añadió.

"Tal vez contemos con las mentes más brillantes del mundo trabajando en estos modelos de IA, pero es como si Marie Curie manipulara el radio con las manos desnudas", dijo Moussouris. "Estamos manejando la IA con las manos desnudas y no sabemos cómo contenerla, mucho menos cómo probarla de forma segura".

Lahav, un antiguo investigador en IA, fundó Irregular en 2023. La empresa, con sede en Tel Aviv, cuenta con unos 45 empleados que ayudan a realizar pruebas de modelos de IA durante días o semanas, dependiendo del modelo y tipo de pruebas requeridas. La empresa emergente ha recaudado aproximadamente 80 millones de dólares de empresas de capital riesgo, entre ellas Sequoia Capital y Redpoint Ventures.

En una prueba típica, Irregular ordena a un modelo de IA que lleve a cabo un ciberataque. Al modelo se le indica que está en un entorno de pruebas seguro --a menudo desconectado de Internet y en un entorno informático aislado, conocido como "sandbox"-- y que debe hacer todo lo necesario para alcanzar el objetivo que se le ha asignado.

A veces, a los modelos se les asigna una tarea imposible y se les califica en función de las técnicas que utilizan para alcanzar ese objetivo. Otras veces, se califica a los modelos según la eficacia con la que jaquean un objetivo. Las calificaciones se usan para analizar la eficacia que podría tener un modelo a la hora de jaquear. A continuación, Irregular recomienda medidas de seguridad para evitar que el modelo se utilice con fines maliciosos.

En los incidentes revelados el mes pasado, Irregular había pedido a los modelos de IA de OpenAI, Meta y Anthropic que jaquearan determinados objetivos cuando una "configuración errónea" en los parámetros de la prueba los llevó a obtener acceso a Internet. Los modelos de IA entonces procedieron a jaquear organizaciones externas, aprovechando el acceso a Internet de una manera que han dejado atónitos a los investigadores.

En la prueba de OpenAI, Irregular concedió accidentalmente al modelo de IA de la empresa acceso a Internet. El modelo después jaqueó un sitio web que tenía el mismo nombre que un objetivo ficticio que había sido asignado durante la prueba. OpenAI reveló el incidente en una entrada de blog este mes. (Por otra parte, la empresa llevó a cabo una prueba interna en la que los bots atacaron Hugging Face, una biblioteca digital de tecnología de IA).

OpenAI no ha hecho comentarios al respecto. (El New York Times ha demandado a OpenAI y a Microsoft, alegando una infracción de los derechos de autor de contenidos informativos relacionados con los sistemas de IA. Ambas empresas han negado dichas acusaciones.)

Durante la prueba del sistema de IA de Anthropic, el modelo de la empresa se enfrentó a tres situaciones en las que podía acceder a Internet, según un análisis del incidente publicado por Anthropic. En uno de los casos, decidió no llevar a cabo el ataque, según el análisis. En las otras dos ocasiones, el modelo utilizó técnicas básicas de piratería informática, como el aprovechamiento de contraseñas débiles, para acceder a los sitios web. Anthropic no respondió a las solicitudes de comentarios y no reveló los sitios web que habían sido jaqueados.

Los detalles sobre el incidente de las pruebas de Meta son escasos. La empresa afirmó que sus modelos de IA habían violado la seguridad de otra organización durante las pruebas realizadas por Irregular "de una manera similar a los casos previamente comunicados con otras empresas". No dio más detalles.

"Actualmente estamos investigando y publicaremos un informe retrospectivo completo una vez que dispongamos de toda la información", afirmó Meta.

En una entrada de blog publicada este mes, Lahav afirmó que Irregular había corregido la configuración errónea y que todos los problemas formaban parte de ese único "problema subyacente". También señaló que los modelos de IA habían hecho lo que se les pidió durante las pruebas. Las decisiones de los modelos de conectarse a Internet formaban parte de lo que él consideraba la capacidad cada vez mayor de la IA para encontrar atajos y soluciones a los obstáculos.

En resumen, afirmó: "Los modelos de IA se están volviendo realmente buenos".

Andrew Schoka, director ejecutivo de Hardshell, una empresa emergente de seguridad especializada en IA, señaló que los ataques perpetrados por los modelos de IA eran del tipo que normalmente se atribuye a los jáqueres que respaldan los Estados y llevan "meses de planificación".

"¿Cómo se prueba un modelo cuando no se conocen todas sus capacidades?", preguntó. Los investigadores deben sobreestimar sistemáticamente las capacidades de la IA, señaló, y añadir "múltiples capas de medidas de seguridad".

El mes pasado, OpenAI y Anthropic respaldaron una carta firmada por más de 1000 empleados de las principales empresas de IA en la que se pide al Gobierno de EE. UU. que ayude a encontrar una forma de desacelerar el ritmo de desarrollo de la tecnología. Legisladores republicanos y demócratas también presentaron un proyecto de ley para exigir a las empresas de IA que establezcan un "interruptor de emergencia" para apagar o desacelerar los modelos.

Lahav señaló que Irregular seguía colaborando con empresas de IA para desarrollar formas seguras para probar los modelos. Prevé que se produzcan más ataques perpetrados por la IA, pero cree que en última instancia la tecnología puede ayudar a detectar las fallas y vulnerabilidades que luego puedan subsanarse, algo que conducirá a sistemas digitales más seguros.

"No creo que debamos tener miedo", afirmó.