Un estudio con resonancias cerebrales encontró que los chatbots de IA no procesan el significado como el cerebro humano

Un estudio publicado en la revista científica eLife encontró que los modelos de lenguaje que impulsan a chatbots como ChatGPT, Gemini o Claude no representan el significado de las oraciones de la misma forma que lo hace el cerebro humano, incluso cuando logran producir textos fluidos y coherentes.

La investigación, firmada por James Fodor y Carsten Murawski, de la Universidad de Melbourne, y Shinsuke Suzuki, de la Universidad Hitotsubashi de Japón, usó resonancia magnética funcional de 7 teslas, una tecnología de mayor resolución que la habitual en hospitales, para observar la actividad cerebral de 30 personas mientras leían 108 oraciones diseñadas específicamente para el experimento.

Los investigadores compararon esa actividad cerebral con las representaciones internas de ocho modelos de lenguaje basados en la arquitectura transformer, la misma que utilizan los principales chatbots comerciales.

El objetivo era determinar si esos sistemas combinan el significado de las palabras con el orden en que aparecen, tal como hace el cerebro, o si solo procesan el significado de cada palabra por separado.

Para lograrlo, el equipo construyó oraciones que comparten casi las mismas palabras pero cambian de significado según su orden, como invertir quién realiza una acción y quién la recibe. Esta técnica permite aislar el efecto de la estructura gramatical del simple contenido léxico de cada palabra, algo que estudios anteriores con textos naturales no habían logrado separar con claridad.

Los modelos de lenguaje fallan en frases con roles invertidos

Los resultados mostraron que los ocho modelos de lenguaje superaron a un modelo básico que ignora por completo el orden de las palabras. Sin embargo, su desempeño general al predecir la actividad cerebral fue bajo, y resultó claramente inferior al de un modelo diseñado específicamente para representar de forma explícita las relaciones estructurales entre palabras, como quién hace qué a quién dentro de una oración.

El problema se concentró en las oraciones con roles semánticos invertidos, como una frase en la que se intercambia quién muerde y quién es mordido. Los ocho modelos de lenguaje tendieron a calificar esas oraciones como más parecidas entre sí de lo que las consideraron los participantes humanos.

Cabe señalar que esa misma diferencia apareció al comparar los modelos con los patrones de actividad cerebral, según el artículo.

El modelo que combina información léxica con una representación explícita de la estructura gramatical, en cambio, obtuvo el mejor ajuste con los datos cerebrales de los participantes. Los autores atribuyen esa diferencia a que el cerebro parece dar un peso central a la función que cumple cada palabra dentro de la oración, y no solo a su significado aislado.

Un hallazgo coherente en los ocho sistemas probados

La consistencia del patrón entre los ocho modelos de lenguaje analizados, de distintos tamaños y arquitecturas, llevó a los autores a descartar que el resultado se debiera a las limitaciones de un sistema en particular.

“Los resultados ponen en duda la afirmación de que los transformadores representan el significado de las oraciones de manera similar al cerebro humano”, señala el artículo.

Carsten Murawski, uno de los autores del estudio, explicó en una publicación profesional que, aunque los modelos de lenguaje logran imitar el uso del lenguaje humano, los resultados sugieren que podrían estar pasando por alto aspectos centrales de cómo las personas comprenden lo que leen.

El estudio no niega que estos sistemas puedan identificar la estructura gramatical de una oración cuando se les pide hacerlo de forma explícita. Investigaciones previas ya habían mostrado que los modelos de lenguaje pueden detectar información sintáctica dentro de sus capas internas.

La diferencia, según los autores, es que esa información no se integra de forma espontánea con el significado de las palabras para construir una representación unificada de la oración, como sí ocurre en el cerebro.

Qué significa para la idea de que la IA “entiende” el lenguaje

La revista eLife, que somete sus artículos a revisión por pares y publica además la evaluación editorial del proceso, calificó los hallazgos del estudio como “valiosos” y respaldados por un análisis “sólido”, de acuerdo con la evaluación publicada junto al artículo.

El trabajo se suma a un debate más amplio en ciencia cognitiva sobre si el buen desempeño de los chatbots en tareas de redacción y conversación refleja una comprensión del lenguaje similar a la humana o si se apoya en patrones estadísticos que producen resultados convincentes sin una representación interna comparable a la del cerebro.

Los propios autores plantean que la siguiente etapa de su investigación deberá identificar con mayor precisión qué aspectos del significado de una oración los modelos de lenguaje logran capturar y cuáles les siguen resultando ajenos frente a la forma en que opera el cerebro humano.