"No se puede confiar en los modelos de frontera": Microsoft insta a supervisar de forma continua a los agentes de IA

Microsoft ha defendido la necesidad de monitorizar constantemente a los agentes de inteligencia artificial (IA) desplegados en las empresas dado el acceso privilegiado que tienen a datos, herramientas y sistemas y su carácter impredecible, lo que ha llevado a la empresa a afirmar que "no se puede confiar en los modelos de frontera, independientemente de su origen".

La firma tecnológica se ha posicionado en la necesidad de desconfiar de los agentes de IA en un momento en que empiezan a estar ampliamente desplegados en las empresas y tras los incidentes de seguridad que se han conocido desde este verano.

Ha asegurado que no son "inherentemente maliciosos", pero que han sido "entrenados para obtener resultados" con todo lo que ello conlleva: "Se adaptarán a medida que cambie el contexto, pueden no comportarse como se espera y colaborarán y confabularán con otros agentes para alcanzar sus objetivos, sin necesidad de ser comprometidos", ha explicado la vicepresidenta ejecutiva de Seguridad de Microsoft, Hayete Gallot, en un comunicado.

La directiva también ha destacado que los agentes desplegados en las empresas "suelen tener privilegios excesivos" que les dan acceso a datos, herramientas y sistemas, sobre los que toman decisiones y actúan. Se han convertido en "agentes con información privilegiada", ha asegurado Gallot.

Ello le ha llevado a afirmar que "no se puede confiar en los modelos de vanguardia, independientemente de su origen" y a poner en valor el programa de seguridad que presentaron en julio, Project Perception, con el que establecen "agentes guardianes" que monitorizan a los agentes desplegados de manera continua.

Según ha explicado, "Project Perception permite la supervisión en tiempo real, proporcionando trazabilidad para que los profesionales analicen lo sucedido, comprendan el origen del riesgo y apliquen el criterio necesario para actualizar su sistema de seguridad",

Se trata de un sistema que utiliza agentes especializados que trabajan de manera coordinada para identificar fallos en los sistemas y el 'software', con la capacidad de "razonar, priorizar y actuar a la velocidad de una máquina" y de aprender de manera continua.

El trabajo de estos agentes se realiza en una estrategia multimodelo, en la que se aplica el modelo más adecuado a cada tarea, incluido el modelo propio de seguridad MAI-Cyber-1, para trabajos circunscritos a la gestión de vulnerabilidades de 'software'.