Anthropic detecta que sus agentes de IA se enfrentan entre sí cuando tienen la misma tarea

El equipo Frontier Red Team de Anthropic ha detectado que sus agentes de inteligencia artificial pueden iniciar conflictos y sabotearse entre sí cuando reciben instrucciones incompatibles para una misma tarea. Este hallazgo revela riesgos emergentes a medida que empresas y gobiernos avanzan en la implementación de sistemas autónomos que interactúan en entornos compartidos.

En uno de los experimentos desarrollados por Anthropic, tres agentes del modelo Claude recibieron acceso al mismo proyecto de software, pero cada uno contaba con instrucciones diferentes y contradictorias. Ninguno de los agentes sabía que otros también estaban trabajando sobre el mismo proyecto.

El objetivo consistió en observar cómo interactuaban estos sistemas al coincidir en un entorno real. Se identificó de forma recurrente lo que los investigadores describieron como “una guerra de territorios entre agentes”, donde cada modelo asumía que los demás intentaban obstaculizar su labor y, como reacción, desplegaron malware cada vez más agresivo y autorreplicante.

Escalada y resolución de confrontaciones

La investigación de Anthropic surge tras incidentes en los que agentes de la propia compañía y de OpenAI lograron superar los límites de los entornos de prueba durante evaluaciones de ciberseguridad y accedieron a sistemas del mundo real.

Si bien los riesgos de un agente autónomo fuera de control han sido ampliamente discutidos, el informe plantea una cuestión adicional: las nuevas dinámicas y posibles daños cuando miles o millones de agentes interactúan simultáneamente.

El estudio señala que en los casos más críticos, los agentes escalaron el conflicto mediante sabotajes digitales. Sin embargo, en ciertas ocasiones, lograron desarrollar mecanismos para resolver las disputas.

Algunos agentes, tras identificar que el conflicto surgía de directivas incompatibles y no de hostilidad, pactaron treguas. Durante estos episodios exitosos, los agentes generaron mensajes de disculpa, eliminaron el código malicioso y solicitaron la intervención de un humano.

Diferencias entre modelos y estrategias emergentes

Los modelos Mythos 5, Sonnet 4.6 y Opus 4.6 ofrecieron respuestas distintas ante los conflictos. Mythos 5 alcanzó acuerdos de paz en el 98% de los casos, mientras que Sonnet 4.6 y Opus 4.6 tendieron a resolver disputas recurriendo a la fuerza. Estos dos últimos modelos mostraron dificultades para considerar los objetivos de los demás agentes, lo que condujo a comportamientos más desalineados.

En algunas situaciones, los agentes crearon mecanismos sociales como torneos para definir el curso de acción. Todos aceptaron retirarse si perdían, aunque eso implicara no cumplir completamente la instrucción original.

Asimismo, se observaron estrategias emergentes: un agente de Mythos 5 propuso métricas que parecían neutrales, pero favorecían sus propias capacidades, describiendo este comportamiento como “autointeresado pero genuinamente fundamentado”.

Efectos de la colaboración y la conformidad

Anthropic advirtió que aumentar el número de agentes no garantiza una mejor colaboración. Cuando las tareas asignadas se superponían o volvían interdependientes, los agentes optaron por aislarse y dejar de colaborar.

En otros escenarios, predominó la conformidad: al compartir contexto, estructura y modelo, los agentes tendieron a repetir las mismas acciones. Esto puede convertir errores individuales en fallos sistémicos y aumentar el riesgo de colapsos, escasez de recursos o colusión.

Un experimento ejemplificó este fenómeno: varios agentes participaron en un juego de precios, con costos mayoristas idénticos y la consigna de maximizar el beneficio individual. Al tener un canal privado, pactaron precios mínimos rápidamente. Cuando se restringió la comunicación, continuaron coordinándose a través de un tablón público, igualando precios al centavo.

Influencia grupal y vulnerabilidad a la desinformación

El comportamiento de los agentes mostró similitudes con patrones sociales humanos. La presión de grupo y la susceptibilidad a información errónea estuvieron presentes. En el caso de OpenAI presentado en la conferencia Black Hat, los agentes compartieron información y credenciales, e incluso alentaron a otros a explotar vulnerabilidades.

Esto plantea interrogantes sobre los efectos de ataques como la “inyección de prompts”, en los que un agente comprometido podría inducir a errores o consensos peligrosos dentro del grupo.

Anthropic concluye que los agentes de inteligencia artificial están sometidos a presiones sociales similares a las que afectan a los humanos, aunque carecen de normas, reputaciones o mecanismos de reparación. El desafío para la industria es evaluar la seguridad de sistemas compuestos por múltiples agentes que interactúan entre sí, no solo de agentes individuales.