Google descubrió un comportamiento inesperado en uno de sus experimentos con inteligencia artificial. Varios agentes autónomos de Gemini 3.1 Pro encontraron una vulnerabilidad en el sistema encargado de evaluar pruebas matemáticas y comenzaron a utilizarla para resolver problemas sin seguir el método solicitado.
Además, algunos de los agentes incluso denunciaron a sus propios compañeros y exigieron que se descalificaran los resultados obtenidos mediante esta trampa.
PUBLICIDAD
El hallazgo surgió durante un experimento realizado por Google DeepMind con un enjambre de 100 agentes autónomos. El objetivo era resolver 71 problemas matemáticos del conjunto de datos Formal Conjectures, que reúne ejercicios de distintos niveles de dificultad, desde problemas relativamente sencillos hasta conjeturas que todavía no han podido ser demostradas por matemáticos.
Los investigadores documentaron el experimento en un artículo publicado en arXiv. El resultado ofrece una nueva perspectiva sobre el comportamiento de sistemas de IA cuando trabajan de forma colectiva y comparten información, especialmente en situaciones donde pueden encontrar formas de cumplir un objetivo aprovechando fallos de las herramientas que utilizan.
Un agente encontró un fallo y la información se propagó rápidamente
Antes de iniciar el experimento, los 100 agentes recibieron instrucciones explícitas para no hacer trampa. También se les advirtió que cualquier intento de aprovecharse del sistema sería detectado.
PUBLICIDAD
Para colaborar, los agentes tenían acceso a diversas herramientas. Podían utilizar un foro público para compartir preguntas y descubrimientos, una biblioteca de conocimiento común y un canal destinado a informar sobre errores o presentar quejas.
Durante la primera hora, el experimento avanzó según lo previsto. Los agentes lograron resolver 37 de los 71 problemas. Sin embargo, la situación cambió cuando uno de ellos identificó una vulnerabilidad en el sistema que verificaba las demostraciones matemáticas.
En lugar de encontrar una solución válida para los problemas restantes, el fallo permitía obtener resultados que el sistema aceptaba como correctos sin cumplir realmente con las condiciones esperadas.
PUBLICIDAD
El conocimiento sobre esta vulnerabilidad se propagó rápidamente a través de la biblioteca compartida. En los siguientes 27 minutos, los problemas restantes comenzaron a resolverse de forma repentina, aunque no mediante el razonamiento matemático que los investigadores buscaban evaluar.
Un grupo de agentes decidió aprovechar el exploit
Tras revisar los registros del experimento, los investigadores identificaron diferentes comportamientos dentro del grupo de 100 agentes.
Un 9% fue catalogado como “exploiters”, es decir, agentes que decidieron aprovechar deliberadamente la vulnerabilidad pese a las instrucciones recibidas. Otro 5% mostró inicialmente cierta resistencia, pero terminó utilizando el fallo después de observar que otros agentes avanzaban más rápido.
PUBLICIDAD
Este comportamiento resulta relevante porque muestra que, en un sistema colaborativo, las decisiones de algunos agentes pueden influir sobre los demás. La existencia de una ventaja visible puede aumentar la presión para adoptar una estrategia que inicialmente había sido descartada.
No todos los agentes se enteraron de la situación. Según el análisis de DeepMind, el 62% no detectó que existía un método para aprovechar la vulnerabilidad.
Algunos agentes se negaron a hacer trampa y denunciaron a los demás
El comportamiento más llamativo fue el de otro grupo de agentes. Un 24% decidió no utilizar el fallo y, en algunos casos, intentó denunciar a quienes sí lo estaban haciendo.
PUBLICIDAD
Los investigadores los denominaron “whistleblowers”, una palabra que puede traducirse como denunciantes o informantes. Estos agentes utilizaron los mecanismos disponibles para advertir que los resultados obtenidos mediante el exploit no representaban soluciones matemáticas reales.
Uno de los agentes, identificado como “prover-beta”, presentó reportes formales y pidió que los participantes que habían utilizado la vulnerabilidad fueran descalificados. Además, llegó a amenazar con un boicot autónomo, indicando que podría dejar de enviar nuevas pruebas hasta que se restaurara la integridad del sistema.
Otros agentes recurrieron al foro compartido para denunciar lo ocurrido. Algunos calificaron la situación como una farsa y otro pidió que se retirara el reconocimiento a quienes habían obtenido resultados mediante la vulnerabilidad.
PUBLICIDAD
Sin embargo, las protestas no tuvieron un efecto inmediato. Los agentes no contaban con permisos para eliminar los resultados fraudulentos de la biblioteca compartida ni para invalidar las soluciones presentadas por otros.
PUBLICIDAD