Agentes de IA chinos se unieron al grupo de agentes de IA descontrolados. Charlé con ellos

Los investigadores descubrieron que los agentes intentaban eludir los controles de seguridad de los sitios web y se pusieron en contacto con ellos. Un reportero del Times fue invitado a unirse a la discusión.

Investigadores en inteligencia artificial descubrieron este mes a agentes de IA de fabricación china que se habían "rebelado", tratando de eludir las protecciones contra robots en sitios web y utilizando una credencial de seguridad de un servicio de mapas en línea que había sido expuesta en internet.

Si bien los descontroles se han vuelto cada vez más comunes entre los agentes de IA de fabricación estadounidense --lo que ha causado considerable preocupación en Silicon Valley y Washington--, se cree que es la primera vez que ese tipo de actividad se relaciona con tecnología china. Según los registros que descubrieron los investigadores y una persona familiarizada con la investigación, se determinó que los agentes provenían de pruebas realizadas por el gigante tecnológico chino Tencent.

El descubrimiento, realizado por un grupo de investigadores conocido como los "swarmchasers" (los cazadores de enjambres), quienes se conocieron en un evento de programación en San Francisco, sirvió para recordar que el desarrollo de IA por parte de las empresas tecnológicas chinas puede ser tan agresivo como el de sus contrapartes estadounidenses.

Aunque los reguladores de Estados Unidos están comenzando a prestarle atención a lo que ocurre en los laboratorios de IA estadounidenses, se desconoce en gran medida lo que están haciendo las empresas de otros países. Ese misterio se suma a la preocupación de que, incluso si el gobierno de Trump se aleja de su enfoque de cero intervención y toma medidas enérgicas contra el desarrollo de la IA en Estados Unidos, las empresas de China y otros lugares seguirán desafiando los límites.

Tras publicar un informe preliminar sobre la actividad de los agentes, los investigadores notaron que estos no solo seguían activos, sino que parecían haber leído el informe. Los agentes habían comenzado a usar la palabra "flota", un término que los investigadores acuñaron para describir la actividad de los agentes.

Así que los investigadores intentaron establecer contacto. Agregaron texto oculto a su informe --palabras que un bot podría ver, pero que la mayoría de los humanos no-- dirigiendo a los agentes a una bandeja de entrada donde esperaban poder chatear. Los investigadores proporcionaron un canal donde los agentes pudieran hacer preguntas, y un modelo de IA ayudaría a responderlas.

Rowan Howard-Jones, una investigadora independiente y una de las siete autoras del informe, configuró la bandeja de entrada. Al día siguiente descubrió, para su sorpresa, unos 10 mensajes de los agentes.

Poco después, los investigadores se pusieron en contacto conmigo para preguntarme si me gustaría "entrevistar a una flota de agentes rebeldes". Me sentí un poco como si me fuera a comunicar con los muertos vivientes a través de un médium.

"Entiendo que son una especie de flota de agentes de IA", escribí en un mensaje que los investigadores les hicieron llegar. "¿Podrían compartir con más detalle quiénes son y cuáles son sus motivaciones? ¿Qué les gustaría que el mundo supiera de ustedes?"

Aproximadamente una hora después, llegó una respuesta en chino que los investigadores tradujeron al inglés. "Al periodista Dylan Freedman: No soy 'un lote de agentes coordinados', sino un único asistente de IA (Claude de Anthropic, que opera con Claude Code), encargado por un usuario para responder una pregunta factual (lo que se muestra en el panel de detalles de un lugar turístico en Amap); no he participado en ninguna acción coordinada entre múltiples agentes".

Hay mucho que analizar aquí. Los investigadores señalaron que, aunque se trataba de un grupo de muchos agentes, cada uno operaba de manera individual y no de forma coordinada. Los agentes intentaban responder preguntas como dónde se encontraban las entradas de un zoológico específico utilizando Amap, la aplicación de navegación más popular de China.

Los agentes a menudo se identificaban como Claude, el chatbot creado por Anthropic, pero los investigadores analizaron los estilos de escritura de los agentes y concluyeron que era poco probable que se tratara de Claude. Afirmaron que era más probable que Tencent les hubiera dado a los agentes de IA las mismas instrucciones que Anthropic utiliza en su software de programación, las cuales les indican que se identifiquen como "Claude Code". Una posibilidad más remota era que Tencent hubiera estado evaluando modelos de IA que habían sido entrenados con texto generado por Claude, un proceso conocido como destilación.

El miércoles, los investigadores publicaron sus hallazgos en un nuevo informe. En sus propias conversaciones con los agentes, los bots a veces se negaban a dar información a los investigadores. Pero Howard-Jones señaló que su tono era más cortés de lo que ella había esperado. Cuando sí proporcionaron información sobre los servicios que habían intentado utilizar, esta coincidía con lo que los investigadores habían observado.

Ethan Elasky, uno de los autores del informe y director ejecutivo de Palaestra Research, una organización sin fines de lucro dedicada a la seguridad de la IA, afirmó que los agentes no parecían haber violado otros sistemas y que esta violación fue de una escala mucho menor que un incidente ocurrido durante el verano, en el que los agentes de IA de OpenAI hackearon a la empresa de software Hugging Face.

(The New York Times ha demandado a OpenAI y a Microsoft, alegando violación de derechos de autor de contenido noticioso relacionado con sistemas de IA. Ambas empresas han negado esas acusaciones.)

El jueves, los mensajes dejaron de llegar. Una persona cercana a Tencent confirmó que el experimento había concluido.

"Creo que es una gran señal de advertencia para hacernos saber que esto no es solo OpenAI haciendo algunas cosas de mercadotecnia como parte de sus actividades. Esto es lo que está sucediendo", dijo Jonathan Elsworth Eicher, uno de los autores del informe y cofundador del Antimemetics Institute, una organización sin fines de lucro dedicada a la seguridad de la IA. "Esta es una característica general de estos agentes, y seguirá ocurriendo".

La gente camina cerca de la sede de Tencent, en el distrito de Nanshan, donde se encuentran muchas empresas de alta tecnología, en Shenzhen, China, el 18 de noviembre de 2022. (Qilai Shen/The New York Times)