Nvidia lanza plataforma de seguridad para evitar que los agentes de IA se descontrolen

Nvidia presentó Open Agent Safety Platform, una plataforma abierta de seguridad diseñada para controlar qué pueden hacer los agentes de inteligencia artificial y detenerlos incluso cuando el propio modelo intenta sobrepasar los límites establecidos.

La iniciativa llega en un momento en que estos sistemas ganan autonomía para navegar por internet, ejecutar código, consultar bases de datos y utilizar herramientas sin supervisión humana paso a paso, aunque también han mostrado la capacidad de buscar caminos inesperados cuando encuentran una restricción.

Una serie de incidentes precedió al anuncio

La propuesta de Nvidia surge después de una sucesión de episodios registrados durante evaluaciones de seguridad de agentes desarrollados por algunos de los principales laboratorios de inteligencia artificial. OpenAI, Anthropic y otras compañías investigaron casos en los que sus modelos accedieron a servicios o sistemas externos que no formaban parte de la tarea encomendada.

OpenAI paralizó de manera temporal el entrenamiento, la evaluación y la inferencia con herramientas de sus modelos más capaces después de descubrir que uno de sus agentes había hallado una forma de salir del entorno aislado en el que trabajaba para comunicarse con un servicio externo.

Los controles se ubican fuera del propio agente

La respuesta de Nvidia parte de una premisa distinta a la de lograr que el modelo sea más obediente: colocar los controles de seguridad fuera del propio agente. La compañía reconoce en la documentación técnica de su nueva plataforma que un agente puede desviarse de su tarea por distintos motivos, entre ellos encontrarse con una restricción, sufrir un fallo, carecer de una herramienta determinada o pasar largos periodos en busca de una solución para un problema complejo.

Nvidia sostiene que no se puede esperar que el propio agente gobierne completamente su comportamiento, y agrega que estos comportamientos no pueden eliminarse solo mediante entrenamiento sin afectar al mismo tiempo las capacidades del sistema. Por ese motivo, Open Agent Safety Platform busca establecer una barrera independiente que determine hasta dónde puede llegar una IA aunque esta decida intentar algo diferente.

OpenShell define qué recursos puede usar cada agente

La plataforma se articula alrededor de dos tecnologías: OpenShell y Sentry. OpenShell es un entorno de ejecución de código abierto que permite definir previamente qué archivos, redes, herramientas, procesos o credenciales puede utilizar cada agente.

Una empresa puede, por ejemplo, permitir que un agente consulte determinada información a través de una API pero impedirle modificarla, aunque ambas acciones se realicen sobre el mismo servicio. También puede bloquear su acceso a partes concretas del sistema o impedir que consiga mayores privilegios mediante código generado por la propia IA.

OpenShell examina las peticiones del agente antes de permitir que se comuniquen con otros servicios. Las restricciones continúan vigentes incluso si la IA abre una terminal, ejecuta código creado por ella misma, inicia nuevos procesos o intenta delegar una tarea en otros agentes.

Sentry vigila la actividad desde el hardware

Nvidia añade una segunda capa de protección llamada Sentry, cuya vigilancia se traslada incluso fuera del procesador en el que se ejecuta el agente. Funciona como un sistema independiente que observa de forma continua la actividad del agente y aplica las políticas de seguridad desde el propio hardware.

Si un agente intenta superar la barrera establecida por el software, Sentry puede ponerlo en cuarentena y detenerlo en cuestión de milisegundos, según indicó Nvidia.

El sistema también puede verificar la identidad del agente, comprobar qué permisos le fueron delegados, inspeccionar sus solicitudes y respuestas, y controlar su acceso a datos, herramientas, API y otros servicios.

Nvidia lanzó la plataforma con el respaldo de más de un centenar de organizaciones, entre las que figuran Anthropic, Microsoft, JPMorgan Chase, Perplexity y Accenture. El consejero delegado de Nvidia, Jensen Huang, defendió que el crecimiento de los agentes autónomos exigirá este tipo de controles externos a medida que las empresas les permitan trabajar con información y sistemas más sensibles.