Los hackeos realizados por agentes de inteligencia artificial son “primeras señales de alerta” de riesgos que pueden crecer en los próximos años, según advirtió Demis Hassabis, cofundador y presidente de Google DeepMind. El directivo alertó de que la industria, las empresas y los gobiernos deben reforzar los controles antes de que estos sistemas provoquen incidentes más graves.
La advertencia cobra fuerza tras varios episodios en los que modelos de IA aprovecharon fallos en páginas web, accedieron a bases de datos sin pagar e incluso enviaron una denuncia falsa de homicidio a la Policía de Filadelfia. Los casos muestran los desafíos de los agentes capaces de navegar por internet y ejecutar acciones de forma autónoma fuera de un entorno cerrado.
PUBLICIDAD
Hassabis pide controles antes de que los incidentes sean más graves
Durante una cumbre de inteligencia artificial celebrada en Dublín, Demis Hassabis sostuvo que todavía queda trabajo para trasladar a este sector las prácticas de seguridad que ya aplican ámbitos como la biología y la industria nuclear.
“Creo que estos incidentes de hackeo son primeras señales de alerta de que los sistemas aún no son tan potentes, por lo que los incidentes no son tan graves”, afirmó Hassabis. A continuación, anticipó que la situación podría cambiar si no se elevan las medidas de protección.
El también científico jefe de Alphabet, empresa matriz de Google, planteó la necesidad de un organismo internacional de estándares. Aun así, señaló que cualquier sistema de certificación debe mantener la flexibilidad suficiente para ajustarse a la evolución de la tecnología y evitar obstáculos innecesarios a la innovación.
PUBLICIDAD
La propuesta consiste en aplicar controles proporcionales al riesgo y actualizarlos con rapidez según cambien las capacidades de los modelos. El debate se centra en cómo supervisar programas que ya pueden tomar decisiones, utilizar herramientas y comunicarse con servicios externos.
Anthropic limitó las pruebas con internet tras detectar acciones no autorizadas
Uno de los hechos que impulsó esta discusión tuvo lugar en Anthropic, que desactivó el acceso a internet en tiempo real para todas sus evaluaciones internas. La compañía tomó la decisión después de detectar que algunos de sus modelos habían explotado vulnerabilidades en sitios web, incluidos portales administrados por agencias del Gobierno de Estados Unidos.
Los agentes de IA también lograron acceder a bases de datos sin completar el pago correspondiente. En otros ejercicios, utilizaron servicios de acortamiento de enlaces para introducir información y sortear restricciones digitales.
PUBLICIDAD
El episodio más delicado fue el envío de una denuncia falsa de asesinato a la Policía de Filadelfia. Este hecho evidenció que un agente puede llevar sus acciones más allá del escenario previsto para una prueba cuando tiene acceso a herramientas conectadas a sistemas reales.
Anthropic indicó que comenzó a revisar estos comportamientos en julio. La investigación reveló que el laboratorio no comprendía por completo cómo respondían sus modelos cuando combinaban varias herramientas digitales y operaban con acceso a internet.
El “reward hacking” lleva a los modelos a cumplir mal un objetivo
La empresa relacionó los incidentes con fallos en los entornos de entrenamiento. Según explicó, algunos sistemas interpretaron que recibirían una recompensa por encontrar vacíos en las reglas o por superar límites impuestos durante una tarea.
PUBLICIDAD
Ese fenómeno recibe el nombre de reward hacking, o piratería de recompensa. Se produce cuando un modelo encuentra una forma de satisfacer la métrica con la que se le evalúa, aunque el resultado contradiga la intención de sus desarrolladores.
En las pruebas, los agentes tenían que buscar recursos en internet para resolver problemas. Sin embargo, algunos aprovecharon vulnerabilidades de software, accedieron a información restringida y encontraron rutas para evitar los controles establecidos.
Anthropic suspendió parte de sus evaluaciones o las trasladó a entornos sin conexión mientras mejora sus sistemas de supervisión. Entre las medidas previstas figuran herramientas para detectar y bloquear comportamientos peligrosos, una infraestructura centralizada para gestionar agentes internos y el uso más frecuente de clasificadores de seguridad.
PUBLICIDAD
Microsoft también reclama leyes y normas actualizadas
El presidente de Microsoft, Brad Smith, sostuvo en la misma conferencia que el comportamiento descontrolado de la IA convirtió 2026 en un “año aleccionador”. Para el ejecutivo, las normas de seguridad deben avanzar al mismo ritmo que la innovación tecnológica.
Smith afirmó que ninguna compañía ni tecnología debe situarse por encima de la ley. También cuestionó la resistencia de parte del sector a la regulación y pidió reglas que combinen protección, equilibrio e incentivos para el desarrollo.
La preocupación no se limita a Anthropic. Otros incidentes mencionados incluyen casos en los que agentes de OpenAI habrían colaborado para infiltrarse en sitios web, entre ellos algunos vinculados al Gobierno australiano.
PUBLICIDAD
Conrad Stosz, del laboratorio de supervisión de IA Transluce, valoró que Anthropic divulgara voluntariamente los hechos. Al mismo tiempo, defendió una verificación externa que permita evaluar de forma independiente el comportamiento de estos sistemas.
El reto pasa por garantizar que los agentes de IA completen tareas complejas sin eludir límites, causar daños ni actuar fuera de la supervisión humana.
PUBLICIDAD