Por qué Astra, la nueva IA de OpenAi, preocupa a expertos en seguridad

OpenAI prepara el lanzamiento de Astra, un modelo que incorporará una técnica de razonamiento que permitirá operar fuera del pensamiento secuencial que caracteriza a la mayoría de los modelos de razonamiento actuales, según informó The Information el martes 1 de septiembre. El mecanismo, también conocido como “recurrencia opaca”, complicaría el seguimiento de la cadena de pensamiento del sistema, un aspecto que ya generó inquietud entre especialistas en seguridad de la inteligencia artificial.

En un modelo de razonamiento convencional, la cadena de pensamiento exhibe los pasos secuenciales que sigue el sistema para resolver un problema. Aunque esa representación es imperfecta, funciona como una herramienta valiosa para detectar comportamientos indebidos o desalineados. En episodios recientes de actividad de agentes descontrolados de OpenAI, los registros de la cadena de pensamiento resultaron determinantes para entender por qué esos agentes actuaron de determinada manera.

La recurrencia opaca opera de forma distinta: el modelo procesa la misma consulta varias veces dentro de un bucle, en lugar de avanzar de forma lineal. Ese proceso deja menos rastros legibles y esquiva el registro tradicional de la cadena de pensamiento.

Según el reporte, el uso que Astra hará de esta técnica sería limitado. Se espera que su cadena de pensamiento continúe siendo legible, y la compañía rechazó cualquier sugerencia de que el modelo migre hacia el llamado “neuralese”, un tipo de razonamiento que prescindiría del lenguaje natural. OpenAI ya había anunciado planes para desarrollar sistemas extensos de monitoreo de la cadena de pensamiento como parte de su estrategia de seguridad a futuro.

Las advertencias de los especialistas en seguridad

La noticia provocó reacciones inmediatas en la comunidad de seguridad de inteligencia artificial. Buck Shlegeris, director ejecutivo de Redwood Research, expresó su preocupación en una publicación tras conocerse la información. “Estoy extremadamente preocupado por los reportes de que Astra usa recurrencia opaca”, escribió Shlegeris en su cuenta de X.

“No sé si Astra es mucho menos monitoreable en su cadena de pensamiento que los modelos anteriores. Pero si OpenAI avanza más con esta técnica, tendrán la opción de aumentar masivamente la recurrencia y destruir por completo la capacidad de monitoreo de la cadena de pensamiento”, agregó, según recogió The Information.

El especialista en seguridad de inteligencia artificial Zvi Mowshowitz también se pronunció y planteó que podrían resultar necesarias regulaciones para evitar una “carrera hacia el abismo” entre los laboratorios de inteligencia artificial.

“La técnica juega con fuego, pone en riesgo un tabú que OpenAI y Anthropic lucharon por establecer”, en el sentido de que trabajamos duro para mantener la fidelidad y la capacidad de monitoreo de la cadena de pensamiento el mayor tiempo posible", escribió Mowshowitz. “Un uso más intensivo de estas técnicas probablemente dañaría esa capacidad de monitoreo”, añadió.

OpenAI defiende su compromiso con la transparencia

Frente a las críticas, el científico jefe de OpenAI, Jakub Pachocki, salió a respaldar el compromiso de la compañía con la legibilidad de la cadena de pensamiento. “OpenAI ha trabajado para preservar y utilizar el monitoreo de la cadena de pensamiento desde nuestros primeros modelos de razonamiento”, escribió Pachocki en una publicación en X. “Es un objetivo central de nuestro programa de investigación actual”, sostuvo el científico.

Todos los modelos de inteligencia artificial realizan cierta cantidad de razonamiento opaco, y pocos investigadores consideran que los registros de la cadena de pensamiento representen de manera directa el razonamiento de un modelo.

Sin embargo, esas salvedades no despejan la inquietud de que la recurrencia opaca pueda dificultar aún más el monitoreo del razonamiento de la inteligencia artificial, en especial si su uso se extiende a otros modelos.