Un estudio revela que la mayoría de los bots de IA carecen de información básica de seguridad

Investigadores de Cambridge alertan sobre la peligrosa falta de documentación sobre riesgos y salvaguardas en la mayoría de los asistentes digitales avanzados, señalando una brecha creciente entre innovación y transparencia, especialmente en aplicaciones empresariales y navegadores web impulsados por IA

La divulgación formal de incidentes de seguridad relacionados con asistentes digitales avanzados se limita a una pequeña fracción de los agentes disponibles en el mercado, y solo cinco de los treinta agentes de inteligencia artificial evaluados han publicado información sobre problemas o preocupaciones en este ámbito. Según informó la Universidad de Cambridge a través de su publicación en los Informes y Actas de Cambridge, esta práctica pone en evidencia la brecha existente entre el desarrollo de nuevos productos basados en inteligencia artificial y la implementación de sistemas de transparencia y documentación de riesgos que los acompañen desde su lanzamiento.

El estudio, dirigido por el Centro Leverhulme para el Futuro de la Inteligencia de Cambridge y encabezado por el investigador Leon Staufer, analizó treinta de los principales agentes de inteligencia artificial, abarcando modelos líderes en chat, navegación web y automatización de flujos de trabajo, tanto de Estados Unidos como de China. El medio de Cambridge detalló que el equipo tuvo en cuenta información pública y comunicación directa con los desarrolladores, lo que permitió identificar que solamente cuatro de los agentes evaluados cuentan con fichas de sistema formales y públicas. Esta documentación incluye niveles de autonomía, descripciones de comportamiento y análisis de riesgo para situaciones concretas, elementos fundamentales para cualquier usuario o compañía que desee comprender las implicaciones de seguridad de implementar estos agentes en su entorno.

De acuerdo con los hallazgos publicados por los investigadores, la mayoría de los desarrolladores de inteligencia artificial tienden a compartir ampliamente información sobre las capacidades y características funcionales de sus bots, pero omiten divulgar datos sobre las medidas de seguridad aplicadas o los resultados de evaluaciones, tanto internas como de terceros. El estudio muestra que 25 agentes de los 30 analizados no ofrecen a los usuarios resultados de pruebas internas de seguridad, mientras que 23 de ellos tampoco facilitan datos de pruebas de terceros, lo cual dificulta una evaluación independiente y rigurosa de los potenciales riesgos asociados.

Read more!

El índice utilizado por este equipo —AI Agent Index— incluye criterios como disponibilidad pública, facilidad de uso y valoración de mercado superior a 1.000 millones de dólares estadounidenses. Esta iniciativa, realizada en colaboración con el MIT, la Universidad de Stanford y la Universidad Hebrea de Jerusalén, verificó información en 1.350 campos para los treinta bots de IA más relevantes, al día hasta el cierre de 2025. Alrededor del 80% de los agentes de la muestra fueron lanzados o actualizados de manera significativa durante los últimos dos años, reflejando la rapidez con la que evoluciona el sector. Sin embargo, según enfatizó el medio universitario, este avance está acompañado por un proceso de documentación que resulta “peligrosamente retrasado” respecto a los riesgos potenciales.

Según ha advertido Staufer, en muchos casos los desarrolladores consideran que cumplen los requisitos de seguridad porque centran sus esfuerzos de evaluación en el modelo de lenguaje principal que da soporte al agente. Sin embargo, “los comportamientos críticos para la seguridad de la IA surgen de la planificación, las herramientas, la memoria y las políticas del propio agente, no solo del modelo subyacente, y muy pocos desarrolladores comparten estas evaluaciones”. De los trece agentes identificados con niveles de autonomía cercanos al máximo, únicamente cuatro han hecho públicos análisis de seguridad específicos para el bot en cuestión.

Los navegadores web impulsados por inteligencia artificial aparecen como el tipo de agente donde la falta de información de seguridad es mayor: el 64% de los campos relacionados con seguridad en el índice carecen de datos reportados para estos bots. Estos navegadores, diseñados para operar en la web de manera autónoma imitando el comportamiento humano, pueden completar tareas tan diversas como comprar boletos de acceso limitado o monitorizar subastas en línea. Tras los navegadores, los agentes destinados a la gestión de tareas empresariales presentan un 63% de omisión en los campos relacionados con seguridad, según la investigación de Cambridge. Los agentes de chat, con un 43% de omisión, cierran esta tendencia al alza en la falta de documentación.

De acuerdo con el investigador principal, la ausencia de normas claras sobre la conducta de los agentes de IA en la web contribuye también a la opacidad existente. Actualmente, la mayoría de los agentes no notifican a los usuarios finales ni a terceras partes que son sistemas de inteligencia artificial. Únicamente tres informes de la muestra mencionan marcas de agua en los archivos generados, lo que permite identificarlos como contenidos producidos por IA. La actualización del índice también documenta que al menos seis agentes emplean de manera explícita técnicas de código y el uso de direcciones IP que imitan las acciones de un humano, con el fin de acceder a sitios y evitar bloqueos anti-bots.

Staufer advierte que los administradores de sitios web se enfrentan así a la imposibilidad de diferenciar entre tráfico legítimamente humano y el proveniente de agentes automatizados o bots, lo que repercute directamente en procesos como compras por internet, llenado de formularios, reservas de servicios o la extracción masiva de datos. Según publicó la Universidad de Cambridge, esta confusión tiene efectos en la protección de derechos de autor, la privacidad de la información y la integridad de la experiencia digital de los usuarios.

La dependencia de la mayoría de los agentes hacia modelos básicos concretos, como GPT, Claude o Gemini, sugiere una fuerte concentración de poder en pocas plataformas, lo que, en palabras de Staufer, “crea posibles puntos únicos de fallo. Un cambio de precio, una interrupción del servicio o una regresión de la seguridad en un modelo podría repercutir en cientos de agentes de IA. También genera oportunidades para la evaluación y el monitoreo de la seguridad”.

Sobre el caso concreto de la IA basada en navegador Perplexity Comet, la investigación señala que se trata de uno de los sistemas de mayor autonomía y riesgo evaluados. Comet se presenta como un asistente virtual capaz de operar como un humano, pero su opacidad en la divulgación de información ha generado preocupaciones. Amazon notificó a los desarrolladores de este agente su intención de emprender acciones legales por no identificarse como IA al interactuar con los servicios de la plataforma, reportó la Universidad de Cambridge.

Según las observaciones recogidas por los autores del estudio, solo dos de los agentes evaluados presentan información documentada sobre vulnerabilidades de “inyección rápida”, una técnica en la cual comandos maliciosos pueden provocar que el sistema ignore los controles de seguridad. Únicamente un agente chino de los cinco estudiados publicó referencias a un marco de seguridad o normas de cumplimiento, mientras que el resto permanece igualmente opaco en cuanto a evaluaciones y estándares.

El crecimiento en el uso de chatbots para la organización personal o el desempeño laboral —incluyendo automatización de informes, gestión de facturas o asistencia en el correo electrónico— contrasta con la baja frecuencia con la que los desarrolladores de IA publican información empírica sobre pruebas de seguridad, estándares de cumplimiento o incidentes conocidos. “Los desarrolladores publican marcos éticos y de seguridad amplios y de alto nivel que suenan tranquilizadores, pero publican evidencia empírica limitada, necesaria para comprender realmente los riesgos”, expresó Staufer en declaraciones recogidas por la Universidad de Cambridge.

Las conclusiones del AI Agent Index subrayan el desfase entre el ritmo al que nuevas aplicaciones de IA llegan a los usuarios y la disposición pública de documentación transparente sobre riesgos y medidas de protección, una situación que según el informe puede tener implicaciones tanto para la seguridad de los sistemas como para la confianza de los usuarios y la regulación futura del sector.

Read more!