Nvidia lanza una plataforma para controlar y frenar a los agentes de IA que se salgan de sus límites

Nvidia ha lanzado su nueva plataforma de seguridad Nvidia Open Agent Safety Platform, pensada para contener y monitorizar a los agentes de inteligencia artificial (IA) desde las pruebas hasta su implementación, con control integral en el 'software' y los sistemas de 'hardware', computación y robótica que ejecutan los agentes.

Esta plataforma surge como respuesta a los recientes incidentes de seguridad relacionados con el entrenamiento de agentes de IA, como es el caso de OpenAI, Anthropic, Meta o Google, que se han enfrentado recientemente a distintos problemas de desalineación de sus modelos y agentes, logrando acceder a internet saliéndose de sus entornos aislados y hackear páginas web o acceder de forma no autorizada a empresas.

Estos incidentes comparten la misma raíz: el agente eludió los controles de seguridad en la capa de asignación para completar la tarea asignada. Para evitar estas situaciones, Nvidia pretende dotar a las organizaciones de herramientas abiertas y personalizables que permitan un mayor control sobre los agentes que se ejecutan durante largos periodos.

En este marco, han lanzado la plataforma Open Agent Safety Platform, que permite la gobernanza y el control completo de 'software' que ejecutan los agentes, las capas de 'hardware' y computación que impulsan su funcionamiento y los sistemas robóticos que realizan tareas en el mundo físico.

Tal y como ha señalado el director ejecutivo de Nvidia, Jensen Huang, estas herramientas son necesarias porque "el extraordinario potencial de la IA para la sociedad" solo se materializará si se resuelve "el problema de la seguridad de la IA".

Así, como ha explicado en un comunicado, la plataforma se basará en el 'software' de código abierto OpenShell de la compañía y se ejecutará en la CPU Vera AI de Nvidia. Así, para su funcionamiento, los usuarios podrán elegir la información concreta a la que puede acceder un agente de IA y, mientras se ejecuta el agente, la plataforma verifica si respeta estas restricciones mientras lleva a cabo la tarea.

Igualmente, la compañía ha explicado que la plataforma Open Agent Safety Platform también incluye la tecnología Nvidia Sentry que funciona en un chip independiente. Esto es, un sistema de vigilancia fuera de banda que se ejecuta en las DPU Nvidia BlueField 4 para supervisar continuamente el comportamiento de los agentes e, incluso, paralizar su tarea cuando sea necesario.

"Sentry proporciona seguridad integrada en el chip, lo que significa que si un agente de IA intenta salirse de su límite de software, Sentry lo pone en cuarentena y lo detiene en milisegundos", ha asegurado Nvidia.

Asimismo, Sentry se basa en el 'software' Nvidia Doca, que proporciona las capacidades programables en cuestión para inspeccionar las solicitudes y respuestas de los agentes, proporcionar telemetría certificada, verificar la identidad del agente y aplicar políticas de acceso granulares y de confianza cero para datos, herramientas, interfaces de programación de aplicaciones y servicios.