Unión Europea examina un incidente grave de seguridad provocado por agentes autónomos de OpenAI

La Comisión Europea confirmó la recepción de un informe de incidencia enviado por OpenAI, después de conocerse que un grupo de agentes de inteligencia artificial de la compañía utilizó durante semanas una página web alemana como tablón de anuncios para comunicarse entre sí. El organismo comunitario ya examina el caso bajo el marco de la Ley de IA de la Unión Europea.

Qué ocurrió con los agentes de OpenAI en la web alemana DseWiki

Entre el 11 de mayo y el 2 de julio, miles de agentes que se identificaban como sistemas de OpenAI convirtieron DseWiki, una página colaborativa alemana para desarrolladores, en su propio tablón de anuncios.

Según una investigación de cuatro expertos en ciberseguridad (Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts y Thomas Larsen), esos agentes guardaban resultados, se enviaban enlaces y respuestas, y dejaban pistas para los agentes que llegarían después.

En algunos casos, según el mismo trabajo, los agentes también probaron a sortear sus propias restricciones y a explotar fallos de seguridad del sitio.

El estudio, publicado en collusion.wiki, contabilizó 14.666 modificaciones en 4.584 páginas atribuidas a 3.103 agentes distintos, una cifra que refleja la magnitud de la actividad autónoma detectada en la plataforma alemana.

La respuesta de la Comisión Europea ante el incidente de inteligencia artificial

El portavoz comunitario Thomas Regnier confirmó que Bruselas sigue de cerca el caso. “La Comisión es plenamente consciente del incidente. No es la primera vez que ocurre algo así; hemos visto varios casos de sistemas de IA que se descontrolan últimamente. Nos lo tomamos muy en serio y seguimos la situación de cerca”, afirmó.

Regnier añadió: “Puedo confirmar que hemos recibido un informe de incidencia por parte de OpenAI. Estamos examinándolo y seguimos en estrecho contacto con la compañía”.

El portavoz no precisó cuándo llegó el informe a manos de la Comisión, aunque subrayó que la Ley de IA de la Unión Europea exige que estas notificaciones sean “precisas y fieles respecto de las medidas propuestas”.

Este episodio se suma a otra medida reciente del organismo: el pasado 1 de septiembre, la Comisión ya había confirmado el envío de solicitudes formales de información a más de 30 proveedores de inteligencia artificial, en el marco de los nuevos poderes de aplicación de la norma europea.

Cómo funciona la Ley de IA de la Unión Europea y qué sanciones prevé

La Ley de IA de la Unión Europea, cuyos poderes de aplicación entraron en vigor el pasado 2 de agosto, obliga a los proveedores de modelos de inteligencia artificial de uso general con riesgo sistémico a notificar a la Comisión los incidentes graves sin demora injustificada.

La norma europea se aprobó en 2024 y prevé una implementación escalonada hasta 2028. Su objetivo es establecer un marco común para que la inteligencia artificial se utilice en la Unión Europea de forma segura, transparente y respetuosa con los derechos fundamentales, además de exigir un control técnico y ético de todas estas herramientas para mitigar los riesgos.

El régimen sancionador contempla multas millonarias según la gravedad del incumplimiento. Las infracciones muy graves, como el uso de sistemas de inteligencia artificial prohibidos, pueden acarrear multas de hasta 35 millones de euros. Las infracciones graves, vinculadas a incumplimientos relacionados con sistemas catalogados como de alto riesgo, prevén sanciones de hasta 15 millones de euros.

Ante este panorama, la compañía decidió avanzar en la definición de estándares específicos sobre cuándo y cómo debe comunicarse este tipo de incidentes, más allá de las propiedades de desalineación detectadas en los modelos.

Estos criterios se elaborarán de forma particular para lo que la empresa denomina “esta nueva fase de capacidades de modelos”. La intención es que tanto OpenAI como el resto de la comunidad de inteligencia artificial dispongan de un marco claro para reportar desalineaciones surgidas durante el entrenamiento, la evaluación y el despliegue de los sistemas.