Científicos de Google, OpenAI y Meta temen perder la comprensión del razonamiento de la IA

Científicos de empresas líderes en inteligencia artificial como Google DeepMind, OpenAI, Amazon, Anthropic y Meta han advertido que pronto podríamos perder la capacidad de comprender cómo razona la IA.

En un documento publicado en arXiv, más de 40 expertos proponen intensificar la investigación sobre métodos para supervisar modelos avanzados, especialmente aquellos que utilizan lenguaje humano para razonar.

El grupo sugiere monitorear de forma activa las llamadas “cadenas de pensamiento” (CdP) de estos sistemas, es decir, los pasos que siguen al procesar información y tomar decisiones. Esta estrategia permitiría detectar señales de comportamientos dañinos antes de que ocurran.

Según explican, “los modelos de IA que piensan en lenguaje natural ofrecen una oportunidad única para mejorar la seguridad: podemos observar sus procesos internos para identificar intenciones incorrectas”.

Aunque reconocen que esta técnica no es infalible y algunos comportamientos inapropiados podrían pasar desapercibidos, consideran que es una vía prometedora.

Por ello, recomiendan seguir investigando y desarrollando esta forma de monitoreo, en conjunto con otros enfoques de seguridad existentes. El objetivo es prevenir riesgos antes de que los sistemas se vuelvan demasiado complejos o autónomos para ser comprendidos y controlados.

Los científicos recomiendan:

“Esto ofrece una oportunidad única para la seguridad de la IA: la monitorización de la cadena de pensamiento. Un monitor de cadena de pensamiento (CdP) es un sistema automatizado que lee la CdP de un modelo de razonamiento y otra información relevante, y señala interacciones sospechosas o potencialmente dañinas. Estas respuestas podrían entonces bloquearse, reemplazarse por acciones más seguras o revisarse con mayor profundidad”.

Por qué monitorizar las cadenas de pensamiento de la IA

Los científicos destacan dos razones principales por las cuales es importante monitorear las cadenas de pensamiento (CoT) en los modelos de inteligencia artificial:

• Necesidad de razonar en voz alta: En ciertas tareas, los modelos deben externalizar su razonamiento en lenguaje natural porque no pueden completarlas sin hacerlo. Si las conductas más peligrosas requieren procesos de pensamiento complejos expresados en lenguaje, esto permitiría detectar comportamientos inapropiados con mayor fiabilidad.
• Tendencia natural a razonar en voz alta: Incluso cuando no es estrictamente necesario, muchos modelos tienden a “pensar en voz alta”. Aunque esta tendencia no es completamente confiable, el monitoreo de estas cadenas de pensamiento puede ayudar a identificar conductas indebidas que podrían pasar desapercibidas con otros métodos.

Qué son las cadenas de pensamiento de la IA

Las cadenas de pensamiento (en inglés chains of thought o CdP) son una técnica en inteligencia artificial que permite a los modelos de lenguaje, como ChatGPT, “pensar en voz alta” antes de llegar a una respuesta final. Es decir, en lugar de dar una respuesta directa, el modelo genera una secuencia de pasos intermedios que reflejan su proceso de razonamiento.

¿Cómo funcionan?

Cuando se utiliza una cadena de pensamiento, el modelo:

• Descompone un problema complejo en pasos más pequeños.
• Explica su lógica paso a paso.
• Llega a una conclusión basada en ese razonamiento.

Por ejemplo, ante la pregunta: “Si María tiene 3 manzanas y compra 2 más, ¿cuántas tiene en total?”, una IA con cadena de pensamiento podría responder:

“María comienza con 3 manzanas. Luego compra 2 más.3 + 2 = 5. Por lo tanto, tiene 5 manzanas en total”.

¿Por qué son importantes?

• Facilitan la detección de errores o sesgos en el razonamiento del modelo.
• Permiten anticipar intenciones problemáticas, como decisiones maliciosas o manipuladoras, en modelos más avanzados.
• Mejoran la seguridad de la IA, porque los desarrolladores pueden revisar el pensamiento detrás de las acciones del modelo.

Quiénes son los científicos detrás de esta advertencia

Algunos de los científicos detrás de esta advertencia son:

• Joe Benton – Anthropic
• Joseph Bloom – UK AI Security Institute
• Mark Chen – OpenAI
• Alan Cooney – UK AI Security Institute
• Allan Dafoe – Google DeepMind
• Anca Dragan – Google DeepMind
• Scott Emmons – Google DeepMind
• Owain Evans – Truthful AI & UC Berkeley
• David Farhi – OpenAI