La ciencia logra "leer" la mente: el modelo de IA que reconstruye imágenes desde la actividad cerebral

El estadio está lleno, la pelota está en el aire y todas las miradas están fijas en el bateador, preparado para golpear con su bate de béisbol. Es una escena rica en detalles y significado simbólico, reconocible al instante para los aficionados.

Un modelo de IA de “lectura de la mente” llamado Brain-IT, desarrollado en el laboratorio de la profesora Michal Irani, del Instituto Weizmann de Ciencias, puede reconstruir esta escena basándose únicamente en la actividad cerebral de una persona que la observa. Brain-IT ha aprendido a identificar patrones de actividad cerebral que se repiten en regiones cerebrales de distintas personas mientras procesan imágenes, lo que le permite aprender a “leer” a una nueva persona con una rapidez sin precedentes y una precisión extraordinaria.

En los últimos años, los científicos han logrado restaurar la capacidad de hablar a personas con parálisis grave, utilizando modelos de IA personalizados entrenados con decenas de horas de registros de su actividad cerebral. Estas tecnologías cambian vidas, pero aún están lejos de leer la mente, ya que se adaptan a individuos específicos y requieren un entrenamiento extenso. Brain-IT, en cambio, reconoce patrones de actividad cerebral que todos compartimos y los traduce en imágenes.

“Hoy en día existen modelos que traducen la actividad cerebral en imágenes, e incluso pueden producir reconstrucciones impresionantes que preservan razonablemente bien el significado semántico de la imagen”, afirma Irani. “Sin embargo, tienden a cometer errores en características básicas, como la composición y el color. El nuevo modelo que desarrollamos los supera en la reconstrucción tanto del contenido de la imagen como de sus detalles. Además, mientras que cualquier otro modelo requiere decenas de horas de escáneres cerebrales para aprender a “leer” a una nueva persona, nuestro modelo necesita solo una hora”.

El camino para desarrollar Brain-IT —que este año fue seleccionado para presentarse en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR, por sus siglas en inglés), una de las principales conferencias mundiales sobre IA— fue desafiante. El equipo de Irani, del Departamento de Ciencias de la Computación y Matemáticas Aplicadas del Instituto Weizmann, tuvo que hacer frente a una grave escasez de datos.

Entrenar un modelo de inteligencia artificial de este tipo para lograr un rendimiento óptimo requiere una enorme cantidad de imágenes, emparejadas con exploraciones de imágenes por resonancia magnética funcional (fMRI, por sus siglas en inglés) de la actividad cerebral registradas mientras los participantes observan esas imágenes.

Sin embargo, para crear estos conjuntos de datos, los investigadores deben colocar a un gran número de participantes dentro de claustrofóbicas máquinas de resonancia magnética durante períodos prolongados. En consecuencia, el mayor conjunto de datos disponible contiene exploraciones de fMRI de no más de ocho individuos, cada uno de los cuales observó varios miles de imágenes; una cantidad no muy grande cuando se trata de entrenar algoritmos de IA.

La solución que Irani y su equipo idearon para esta escasez de ejemplos se asemeja a un diccionario bilingüe bidireccional. En lugar de desarrollar solo un “decodificador” que aprende a reconstruir una imagen a partir de una exploración de fMRI, también desarrollaron un “codificador” que aprende a predecir una exploración de fMRI a partir de una imagen.

“Nos dimos cuenta de que, al traducir de un lado a otro —desde una imagen aleatoria que nunca había sido vista en una máquina de fMRI, a una exploración cerebral predicha y luego de vuelta a la imagen con la que empezamos—, los modelos construirían de hecho por sí mismos un enorme conjunto de datos”, explica Irani.

“El plan era alimentar al codificador con imágenes que nunca se habían mostrado a una persona en un escáner de resonancia magnética, generar para ellas exploraciones cerebrales estimadas y pasar esas exploraciones al decodificador, que intentaría reconstruir a partir de ellas la imagen original. De esta manera, durante el entrenamiento, los modelos aprenderían a generar exploraciones que codificaran las imágenes de forma eficaz, aunque esas exploraciones de fMRI nunca se hubieran realizado realmente”.

El principal desafío en el desarrollo del codificador fue la variación entre los cerebros individuales: la misma imagen puede provocar un patrón de actividad diferente en distintas personas. La solución consistió en descomponer el problema en sus componentes.

En lugar de intentar codificar una imagen en una exploración cerebral completa, los investigadores dividieron el cerebro en aproximadamente 40.000 “vóxeles cerebrales” —pequeñas unidades tridimensionales de volumen— y midieron cómo respondía cada uno a diferentes imágenes. Al mismo tiempo, utilizaron un modelo de IA para extraer de las imágenes características visuales básicas, como el color y la ubicación, junto con características semánticas que reflejan el significado de la imagen, por ejemplo, un alimento o un rostro.

A este nivel de detalle, comenzaron a surgir patrones de actividad cerebral que se repetían en distintos cerebros y estaban asociados con características específicas de las imágenes, un descubrimiento que permitió construir un codificador cerebral universal.

El camino hacia la lectura de la mente

El codificador cerebral resultó ser mucho más que un paso técnico hacia el desarrollo del decodificador. “Durante el entrenamiento, el codificador identificó de forma natural 128 regiones funcionales que son compartidas por todas las personas y desempeñan funciones específicas en el procesamiento de imágenes”, explica Michal Irani.

“Algunas de ellas son conocidas por los neurocientíficos, pero otras son completamente nuevas. Por ejemplo, descubrimos una división de funciones dentro de la región cerebral que procesa imágenes de lugares —la PPA—, con una parte que responde a escenas de interiores y otra a escenas de exteriores”.

“La fortaleza del codificador reside en su capacidad de identificar regiones que desempeñan funciones similares en distintos cerebros, incluso cuando sus ubicaciones anatómicas difieren”, añade Irani.

“Otra ventaja es su capacidad para probar diferentes características de manera controlada. Por ejemplo, se le puede proporcionar la misma imagen en color y en blanco y negro, identificar las diferencias entre las exploraciones de fMRI predichas y, a partir de ello, inferir dónde se codifica el color en el cerebro. En el futuro, el codificador también podría ayudarnos a comprender cómo trabajan juntas diferentes regiones y cómo toma forma la percepción”.

El laboratorio de Irani trabaja ahora para extender estos métodos de “lectura de la mente” también a la decodificación de información auditiva. El video podría ser otra frontera. “Lo que sigue siendo especialmente desafiante es decodificar video, por ejemplo, durante los sueños”, explica Irani. “Decenas de imágenes cambian cada segundo, mientras que una exploración de fMRI tarda unos dos segundos. Si superamos todos estos obstáculos, es posible que en el futuro incluso podamos leer los sueños”.

*Este contenido fue producido por expertos del Instituto Weizmann de Ciencias, uno de los centros más importantes del mundo de investigación básica multidisciplinaria en el campo de las ciencias naturales y exactas, situado en la ciudad de Rejovot, Israel.