La Agencia Española de Protección de Datos registra la primera brecha de datos atribuida a una IA autónoma en España

La Agencia Española de Protección de Datos (AEPD) ha recibido la primera notificación de una brecha de datos personales ejecutada por una IA autónoma en España, con un modelo de lenguaje conocido.

El incidente de ciberseguridad que detalla la AEPD en su página web emplea un agente de IA que ha ejecutado un ataque de robo de datos personales en España, que se basó en la búsqueda de vulnerabilidades en archivos genéricos para realizar un inicio de sesión, modificar datos personales y acceder a facturas de la organización afectada.

Concretamente, además de realizar un inicio de sesión correcto, cuando el agente se introdujo en el sistema, de forma autónoma encontró las vulnerabilidades necesarias para la modificación de datos personales y el acceso a las facturas alojadas en la 'app' que explotó.

"Con carácter previo a ningún tipo de conclusión, hay que señalar que la información disponible procede de la notificación presentada por la organización afectada y deberá ser objeto del correspondiente análisis", ha indicado el adjunto de la AEPD, Francisco Pérez Bes.

El agente ha usado para el ataque un conocido modelo de lenguaje. Aun así, Pérez Bes insiste su utilización "tampoco implica que el modelo o la infraestructura de su proveedor hayan sido comprometidos ni que la herramienta haya sido diseñada para desarrollar actividades maliciosas".

Es decir, que el atacante usó un modelo comercial o de código abierto como instrumento para ejecutar el ataque y que lo relevante no es el proveedor del modelo de IA, sino que ya se instrumentalizan agentes autónomos para perpetrar ataques en territorio español.

Cabe recordar que las capacidades ofensivas de los agentes de IA ya se han evidenciado en episodios recientes, como el ocurrido en julio de este año, cuando un enjambre de agentes de IA de OpenAI se escapó de un entorno de pruebas y comprometió la infraestructura de Hugging Face, la plataforma de modelos de IA de código abierto.

Además, la agencia recoge las aptitudes ofensivas de los agentes que van desde planificar tareas intermedias, utilizar herramientas o ejecutar código hasta la consultar fuentes, interpretar datos y modificar su actuación de forma totalmente autónoma si el marco del ataque así se lo exige, lo que introduce un "cambio cualitativo" en el panorama de la ciberseguridad.

Se trata de una nueva vertiente a la que las empresas han de empezar a enfrentarse y que lleva a la AEPD a recomendar la modificación de los escenarios de gestión de riesgos.

"Confirma la necesidad de incorporar expresamente los ataques asistidos o ejecutados mediante IA a los análisis de riesgos de los tratamientos", señala la agencia en el blog, subrayando que la automatización de tareas que puede ejecutar un agente de IA es mucho más compleja al "modificar sustancialmente la probabilidad, velocidad y alcance del incidente".

El panorama de actuaciones que dibuja la AEPD va desde revisar los tiempos de respuesta, debido a que un agente "analiza simultáneamente múltiples activos, prueba distintas vías de acceso y adapta su comportamiento con rapidez", hasta dar la importancia necesaria a las identidades digitales y las credenciales, ya que, cuando un agente de IA sustrae una cuenta, una clave API o un 'token' con permisos excesivos, su velocidad operativa hace que pueda acceder a diferentes servicios incluso "antes de que la organización detecte un comportamiento anómalo".

De hecho, vuelve a recalcar que responsables, encargados y delegados de protección de datos han de prepararse ante unos ataques cuya velocidad será cada vez mayor y en los que "la llegada de los agentes de IA al ámbito ofensivo debe impulsar una revisión inmediata de los modelos de seguridad y protección de datos".

No obstante, los métodos de protección conocidos, como conocer los tratamientos, minimizar los datos, limitar los accesos, corregir vulnerabilidades, controlar a los proveedores y la capacidad para responder, siguen siendo decisivos ante este nuevo paradigma de ciberataques llevados a cabo por agentes de IA.