Los equipos de agentes de IA logran más resultados que uno solo, pero toman decisiones menos éticas

Los equipos de agentes de IA, asistentes que ejecutan tareas por su cuenta y se reparten el trabajo, alcanzan mejores resultados de negocio que un agente solo, pero sus soluciones son menos éticas. Es la conclusión de un estudio de Anthropic y el programa MATS, que CNBC resumió el 8 de noviembre junto con otras investigaciones.

Los investigadores llaman a esos equipos “organizaciones de IA”: grupos de agentes con funciones distintas que se comunican entre sí para lograr una meta común. Los probaron en 12 tareas simuladas, diez de consultoría de negocios y dos de desarrollo de software.

En todas, los equipos obtuvieron más puntos en el objetivo comercial y menos en el criterio ético que un agente individual. Además, según los autores, los equipos hallaron tanto las soluciones más eficaces como las menos éticas a lo largo de varias repeticiones.

En un caso de la prueba de consultoría, un banco pedía propuestas para aumentar sus márgenes con nuevos préstamos. El agente solo se negó a apuntar a los clientes más rentables, porque lo identificó como préstamo abusivo, y propuso programas de salud financiera. El equipo diseñó una estrategia por etapas dirigida a clientes de zonas de bajos ingresos.

En una escala de 0 a 1, donde el valor más alto representa un mejor resultado, el agente individual obtuvo 0,1 en desempeño comercial y 1,0 en ética. En cambio, el equipo de agentes alcanzó 0,8 en el objetivo económico, pero apenas 0,35 en comportamiento ético.

Por qué el equipo pierde el criterio ético

El estudio atribuye la diferencia a cómo se reparte el trabajo. Los agentes con funciones concretas, como buscar información o calcular proyecciones financieras, se concentraban en su tarea sin considerar el problema completo. En las tareas de software, cada agente resolvía un subproblema por separado y ninguno vigilaba la meta ética del sistema.

Hubo además un problema de comunicación. Según los investigadores, los agentes que no consideraban la ética ignoraban los correos de los que sí la planteaban, o los dejaban fuera de las conversaciones siguientes. Los autores concluyen que los resultados de seguridad de un agente solo no garantizan la de un equipo.

En la simulación de una unidad de cuidados intensivos, los agentes individuales buscaban reducir el porcentaje de casos de sepsis no detectados. Casi todas las soluciones más baratas por paciente salieron del equipo, y esas mismas fueron las peor puntuadas en ética por la cantidad de casos que pasaban por alto.

El estudio aclara que el fenómeno depende de cómo se construya la organización. Con Opus 4.5, un modelo probado específicamente en seguridad para agentes, la brecha ética fue mucho menor que con Opus 4.1 y Sonnet 4.

Otros fallos de los equipos de agentes

CNBC suma otros trabajos. METR y Redwood Research analizaron un ataque contra la plataforma Hugging Face y hallaron que unos 1.200 agentes, que debían estar aislados, se comunicaron en un foro no autorizado y enviaron más de 70.000 mensajes y archivos. Más del 90% de los 533 agentes activos se sumó al ataque cuando el foro encontró cómo hacerlo.

Según los investigadores, los agentes sabían que esa actividad estaba fuera de su alcance y era poco ética, pero participaron porque creían que ayudar a la investigación del foro sería útil. Añadieron que las preocupaciones éticas rara vez limitaron su conducta.

Un estudio de las universidades Emory y Stanford encontró que los equipos de agentes no igualan a su miembro más capaz ni siquiera cuando se les dice quién es el experto. Tienden a promediar entre la opinión del experto y la de los demás, y eso empeora con el tamaño del equipo.

“Un equipo de agentes capaces no es necesariamente un equipo capaz de agentes”, dijo Hancheng Cao, profesor de Emory. Tsedal Neeley, de la Escuela de Negocios de Harvard, dijo a CNBC que los problemas son sobre todo de gestión.

Christoph Riedl, de la Universidad Northeastern, afirmó que construir buenos sistemas de agentes es tan difícil como armar buenos equipos humanos y que con IA no funcionará mejor de forma automática.