Científicos de empresas líderes en inteligencia artificial como Google DeepMind, OpenAI, Amazon, Anthropic y Meta han advertido que pronto podríamos perder la capacidad de comprender cómo razona la IA.
En un documento publicado en arXiv, más de 40 expertos proponen intensificar la investigación sobre métodos para supervisar modelos avanzados, especialmente aquellos que utilizan lenguaje humano para razonar.
El grupo sugiere monitorear de forma activa las llamadas “cadenas de pensamiento” (CdP) de estos sistemas, es decir, los pasos que siguen al procesar información y tomar decisiones. Esta estrategia permitiría detectar señales de comportamientos dañinos antes de que ocurran.
Según explican, “los modelos de IA que piensan en lenguaje natural ofrecen una oportunidad única para mejorar la seguridad: podemos observar sus procesos internos para identificar intenciones incorrectas”.
Aunque reconocen que esta técnica no es infalible y algunos comportamientos inapropiados podrían pasar desapercibidos, consideran que es una vía prometedora.
Por ello, recomiendan seguir investigando y desarrollando esta forma de monitoreo, en conjunto con otros enfoques de seguridad existentes. El objetivo es prevenir riesgos antes de que los sistemas se vuelvan demasiado complejos o autónomos para ser comprendidos y controlados.
Los científicos recomiendan:
“Esto ofrece una oportunidad única para la seguridad de la IA: la monitorización de la cadena de pensamiento. Un monitor de cadena de pensamiento (CdP) es un sistema automatizado que lee la CdP de un modelo de razonamiento y otra información relevante, y señala interacciones sospechosas o potencialmente dañinas. Estas respuestas podrían entonces bloquearse, reemplazarse por acciones más seguras o revisarse con mayor profundidad”.
Por qué monitorizar las cadenas de pensamiento de la IA
Los científicos destacan dos razones principales por las cuales es importante monitorear las cadenas de pensamiento (CoT) en los modelos de inteligencia artificial:
- Necesidad de razonar en voz alta: En ciertas tareas, los modelos deben externalizar su razonamiento en lenguaje natural porque no pueden completarlas sin hacerlo. Si las conductas más peligrosas requieren procesos de pensamiento complejos expresados en lenguaje, esto permitiría detectar comportamientos inapropiados con mayor fiabilidad.
- Tendencia natural a razonar en voz alta: Incluso cuando no es estrictamente necesario, muchos modelos tienden a “pensar en voz alta”. Aunque esta tendencia no es completamente confiable, el monitoreo de estas cadenas de pensamiento puede ayudar a identificar conductas indebidas que podrían pasar desapercibidas con otros métodos.
Qué son las cadenas de pensamiento de la IA
Las cadenas de pensamiento (en inglés chains of thought o CdP) son una técnica en inteligencia artificial que permite a los modelos de lenguaje, como ChatGPT, “pensar en voz alta” antes de llegar a una respuesta final. Es decir, en lugar de dar una respuesta directa, el modelo genera una secuencia de pasos intermedios que reflejan su proceso de razonamiento.
¿Cómo funcionan?
Cuando se utiliza una cadena de pensamiento, el modelo:
- Descompone un problema complejo en pasos más pequeños.
- Explica su lógica paso a paso.
- Llega a una conclusión basada en ese razonamiento.
Por ejemplo, ante la pregunta: “Si María tiene 3 manzanas y compra 2 más, ¿cuántas tiene en total?”, una IA con cadena de pensamiento podría responder:
“María comienza con 3 manzanas. Luego compra 2 más.3 + 2 = 5. Por lo tanto, tiene 5 manzanas en total”.
¿Por qué son importantes?
- Facilitan la detección de errores o sesgos en el razonamiento del modelo.
- Permiten anticipar intenciones problemáticas, como decisiones maliciosas o manipuladoras, en modelos más avanzados.
- Mejoran la seguridad de la IA, porque los desarrolladores pueden revisar el pensamiento detrás de las acciones del modelo.
Quiénes son los científicos detrás de esta advertencia
Algunos de los científicos detrás de esta advertencia son:
- Joe Benton – Anthropic
- Joseph Bloom – UK AI Security Institute
- Mark Chen – OpenAI
- Alan Cooney – UK AI Security Institute
- Allan Dafoe – Google DeepMind
- Anca Dragan – Google DeepMind
- Scott Emmons – Google DeepMind
- Owain Evans – Truthful AI & UC Berkeley
- David Farhi – OpenAI
Últimas Noticias
¿Difundieron tus fotos sin permiso? El nuevo cambio de Google para borrar imágenes íntimas en segundos
Disponible ya en países de Latinoamérica, esta función responde a la demanda de mayor protección frente a una de las formas más dañinas de exposición digital
¿Sospechas que alguien espía tu teléfono?: así puedes detectarlo y proteger tus datos personales
Interferencias en llamadas, batería que se agota rápido y actividad extraña en cuentas son alertas que no debes ignorar
Resident Evil Requiem es el juego más vendido en menos tiempo en la historia de la franquicia
La apuesta por el realismo actoral y el homenaje a escenarios clásicos impulsan el éxito global del juego, que ya prepara contenido adicional para seguir sorprendiendo a los fans
Agentes de IA que hacen el trabajo por ti: así puedes automatizar tareas clave en tu empresa
La integración de modelos como Model Context Protocol permiten a los agentes interactuar con sistemas internos y ejecutar acciones complejas en tiempo real
Starlink: lista completa de iPhone y celulares Android que pueden acceder a internet satelital
Teléfonos móviles recientes de iPhone, Google Pixel, Motorola y Samsung son compatibles con esta tecnología
