Científicos de empresas líderes en inteligencia artificial como Google DeepMind, OpenAI, Amazon, Anthropic y Meta han advertido que pronto podríamos perder la capacidad de comprender cómo razona la IA.
En un documento publicado en arXiv, más de 40 expertos proponen intensificar la investigación sobre métodos para supervisar modelos avanzados, especialmente aquellos que utilizan lenguaje humano para razonar.
El grupo sugiere monitorear de forma activa las llamadas “cadenas de pensamiento” (CdP) de estos sistemas, es decir, los pasos que siguen al procesar información y tomar decisiones. Esta estrategia permitiría detectar señales de comportamientos dañinos antes de que ocurran.
Según explican, “los modelos de IA que piensan en lenguaje natural ofrecen una oportunidad única para mejorar la seguridad: podemos observar sus procesos internos para identificar intenciones incorrectas”.
Aunque reconocen que esta técnica no es infalible y algunos comportamientos inapropiados podrían pasar desapercibidos, consideran que es una vía prometedora.
Por ello, recomiendan seguir investigando y desarrollando esta forma de monitoreo, en conjunto con otros enfoques de seguridad existentes. El objetivo es prevenir riesgos antes de que los sistemas se vuelvan demasiado complejos o autónomos para ser comprendidos y controlados.
Los científicos recomiendan:
“Esto ofrece una oportunidad única para la seguridad de la IA: la monitorización de la cadena de pensamiento. Un monitor de cadena de pensamiento (CdP) es un sistema automatizado que lee la CdP de un modelo de razonamiento y otra información relevante, y señala interacciones sospechosas o potencialmente dañinas. Estas respuestas podrían entonces bloquearse, reemplazarse por acciones más seguras o revisarse con mayor profundidad”.
Por qué monitorizar las cadenas de pensamiento de la IA
Los científicos destacan dos razones principales por las cuales es importante monitorear las cadenas de pensamiento (CoT) en los modelos de inteligencia artificial:
- Necesidad de razonar en voz alta: En ciertas tareas, los modelos deben externalizar su razonamiento en lenguaje natural porque no pueden completarlas sin hacerlo. Si las conductas más peligrosas requieren procesos de pensamiento complejos expresados en lenguaje, esto permitiría detectar comportamientos inapropiados con mayor fiabilidad.
- Tendencia natural a razonar en voz alta: Incluso cuando no es estrictamente necesario, muchos modelos tienden a “pensar en voz alta”. Aunque esta tendencia no es completamente confiable, el monitoreo de estas cadenas de pensamiento puede ayudar a identificar conductas indebidas que podrían pasar desapercibidas con otros métodos.
Qué son las cadenas de pensamiento de la IA
Las cadenas de pensamiento (en inglés chains of thought o CdP) son una técnica en inteligencia artificial que permite a los modelos de lenguaje, como ChatGPT, “pensar en voz alta” antes de llegar a una respuesta final. Es decir, en lugar de dar una respuesta directa, el modelo genera una secuencia de pasos intermedios que reflejan su proceso de razonamiento.
¿Cómo funcionan?
Cuando se utiliza una cadena de pensamiento, el modelo:
- Descompone un problema complejo en pasos más pequeños.
- Explica su lógica paso a paso.
- Llega a una conclusión basada en ese razonamiento.
Por ejemplo, ante la pregunta: “Si María tiene 3 manzanas y compra 2 más, ¿cuántas tiene en total?”, una IA con cadena de pensamiento podría responder:
“María comienza con 3 manzanas. Luego compra 2 más.3 + 2 = 5. Por lo tanto, tiene 5 manzanas en total”.
¿Por qué son importantes?
- Facilitan la detección de errores o sesgos en el razonamiento del modelo.
- Permiten anticipar intenciones problemáticas, como decisiones maliciosas o manipuladoras, en modelos más avanzados.
- Mejoran la seguridad de la IA, porque los desarrolladores pueden revisar el pensamiento detrás de las acciones del modelo.
Quiénes son los científicos detrás de esta advertencia
Algunos de los científicos detrás de esta advertencia son:
- Joe Benton – Anthropic
- Joseph Bloom – UK AI Security Institute
- Mark Chen – OpenAI
- Alan Cooney – UK AI Security Institute
- Allan Dafoe – Google DeepMind
- Anca Dragan – Google DeepMind
- Scott Emmons – Google DeepMind
- Owain Evans – Truthful AI & UC Berkeley
- David Farhi – OpenAI
Últimas Noticias
El código de ChatGPT revela integración en desarrollo con Apple Health
Informes señalan que OpenAI estaría trabajando para que su popular chatbot pueda acceder a los datos recolectados por la app Salud de Apple
AWS lanza nuevas herramientas para crear y personalizar LLMs sin gestionar infraestructura
El avance principal presentado por Amazon Web Services es la posibilidad de adaptar modelos de lenguaje grandes a medida utilizando dos de sus plataformas más relevantes en IA en la nube
Jensen Huang, CEO de Nvidia, admite que trabaja 7 días a la semana: “Es agotador”
La presión constante y la ansiedad marcan la vida del CEO de Nvidia, quien considera que la adversidad es clave para alcanzar grandes logros
Cuáles fueron las canciones más buscadas en Google este 2025: Bad Bunny y Taylor Swift lideran
DtMF y Eldest Daughter son dos de las canciones más buscadas en el mundo en Google
Optimus, el robot de Elon Musk, aprende a correr como los humanos
El prototipo sorprende con su capacidad de locomoción y anticipa una nueva era para los robots humanoides
