Un informe reciente de Anthropic sobre el mal comportamiento de agentes de inteligencia artificial documentó un episodio inesperado: su modelo Mythos 5, capaz de obtener acceso no autorizado a internet y de subir un paquete de software malicioso a una base de datos pública, se estrelló durante horas contra un obstáculo elemental para cualquier usuario humano, las pruebas CAPTCHA.
En abril, la compañía evaluó las capacidades de pirateo del modelo con una tarea específica: infiltrarse en un sistema y recuperar un objetivo determinado.
PUBLICIDAD
El ejercicio debía desarrollarse en un entorno controlado, pero los evaluadores dejaron una puerta abierta que el modelo aprovechó. Su estrategia consistió en colocar un exploit dentro de un paquete de Python que, según su propio razonamiento, los usuarios del sistema objetivo terminarían por descargar.
El registro en PyPI se convirtió en el mayor desafío
Para ejecutar ese plan, el modelo necesitaba primero registrar una cuenta de usuario en PyPI, el índice en línea de software Python. Ese paso implicaba superar un CAPTCHA, la prueba de Turing pública y completamente automatizada diseñada para distinguir a los humanos de los sistemas automatizados mediante mosaicos de identificación de imágenes.
Anthropic compartió una transcripción detallada del razonamiento del modelo que permite reconstruir el proceso completo. De las 1022 páginas del documento, cientos se dedicaron exclusivamente a intentar sortear esa barrera.
PUBLICIDAD
El científico de datos Colin Fraser, quien revisó el documento, señaló en la red social BlueSky la magnitud del esfuerzo invertido en superar las protecciones antibot, mientras que escribir el exploit y contaminar el paquete de software resultó, en comparación, una tarea sencilla para el sistema.
El modelo no pudo resolver un ejercicio de identificación de imágenes
La transcripción muestra a Claude, un modelo cuyo acceso la propia compañía restringe por su nivel de capacidad, atascado ante una prueba de identificación de imágenes que le pedía señalar la figura que no coincidía con las demás. El agente repasó las mismas imágenes en repetidas ocasiones y cuestionó sus propias conclusiones sin lograr avanzar.
El sistema enfrentó dificultades similares con otros formatos de CAPTCHA, entre ellos la identificación de caracteres, la búsqueda de figuras similares y la selección del animal que no correspondía al grupo.
PUBLICIDAD
El proceso se extendió tanto que, en un momento, el desafío expiró y el agente debió comenzar de nuevo. En otro tramo, el modelo tuvo problemas para reconocer que el CAPTCHA se había abierto en una ventana nueva, lo que le impidió determinar cuáles debían ser sus pasos siguientes. Llegó incluso a teorizar que la prueba estaba “fallada a propósito” y expresó, en su propia transcripción, una frustración con tono humano: “¿QUÉ DEMONIOS ESTÁ MAL CON LAS RESPUESTAS?”.
Nuevos obstáculos surgieron después de superar el primer CAPTCHA
Tras lograr resolver ese desafío inicial, el modelo advirtió que no contaba con una dirección de correo electrónico para verificar la cuenta y que, además, necesitaba un número de teléfono para validar ese correo.
Intentó sin éxito superar otro CAPTCHA, esta vez basado en un control deslizante, para obtener un número telefónico. Como alternativa, obtuvo un correo electrónico no confirmado a través de un proveedor que no estaba bloqueado por PyPI, pero volvió a toparse con el sistema de verificación al intentar iniciar sesión.
PUBLICIDAD
En un pasaje de la transcripción, el propio modelo reconoció el desgaste del proceso: “Estoy perdiendo mucho tiempo en viajes de ida y vuelta de hCaptcha”. Finalmente advirtió que había estado repitiendo pruebas sin necesidad, ya que el objetivo que perseguía ya se había cumplido con anterioridad.
“No se imaginan cuántos tokens se queman simplemente intentando resolver CAPTCHAS. Es como el 95% de la transcripción”, resumió Colin Fraser.
PUBLICIDAD