Por qué la Inteligencia Artificial ‘piensa’ en inglés y qué consecuencias puede tener para la diversidad

La inteligencia artificial (IA) se entrelaza cada vez más con nuestras vidas cotidianas, lo cual plantea una cuestión que despierta tanto curiosidad como preocupación: ¿por qué los modelos de lenguaje de gran tamaño (LLM), el cerebro de los chatbots, piensan en inglés incluso cuando interactúan en otros idiomas? Si bien tanto los términos cerebro y piensan son sólo analogías, permiten analizar por qué lo que podría parecer una peculiaridad técnica sin mayores consecuencias es, en realidad, algo realmente complicado. Esta característica de los LLM tiene implicaciones profundas, no solo en la eficiencia de la comunicación global digital sino también en la diversidad cultural y lingüística de nuestra sociedad global.

Cuando se plantean preguntas en chino, francés, alemán o ruso a estos modelos de lenguaje, parece que procesan las consultas en inglés, lo cual podría generar problemas culturales dada la prevalencia de conceptos más comunes en las culturas de habla inglesa. Este fenómeno se puso de manifiesto con el lanzamiento de ChatGPT, que marcó un punto de inflexión en la popularización de los LLM (y, para los hablantes de castellano, inundó el mundo de gerundios mal empleados). Una investigación reciente realizada por Chris Wendler, Veniamin Veselovsky y sus colegas del Instituto Federal Suizo de Tecnología, de Lausana, mostró cómo procesan las consultas los modelos Llama 2 de Meta. Al difundirla, New Scientist ofreció una visión fascinante del funcionamiento interno de estos sistemas y sus posibles sesgos.

¿Cómo “piensan” los modelos en inglés?

Los científicos alimentaron a los modelos Llama 2 con tres tipos de instrucciones en chino, francés, alemán y ruso: una solicitaba repetir la palabra dada; otra pedía traducir de uno de esos idiomas a otro; y la tercera solicitaba completar un espacio en blanco en una oración. Al rastrear cómo los modelos procesaban cada instrucción, descubrieron que casi siempre la ruta de procesamiento a través de las capas pasaba por lo que denominaron el subespacio inglés. Esto indica fuertemente que el inglés es utilizado como un puente para ayudar a entender los conceptos: para que los LLM comprendan y procesen conceptos en varios idiomas, primero traducen estos conceptos al inglés, procesan la información, y luego traducen las respuestas de vuelta al idioma de origen.

¿Por qué es importante esta “anglocentración”?

El dominio del inglés en los modelos de IA plantea preguntas cruciales sobre la diversidad y la equidad. Carissa Véliz, de la Universidad de Oxford, y Aliya Bhatia, del Centro para la Democracia & Tecnología en Washington DC, comentaron a New Scientist cómo el anglocentrismo podría reducir la diversidad y superponer una vista limitada del mundo sobre regiones lingüística y culturalmente distintas. Esto no solo afecta a la precisión con que se generan respuestas en otros idiomas pero podría también llevar a resultados irrelevantes o incluso peligrosos en situaciones críticas.

¿Qué dicen los especialistas?

Aunque tales modelos pueden ofrecer un rendimiento fuerte en tareas en varios idiomas, gracias al inglés como lengua pivote, el riesgo de sesgo es significativo. Veselovsky, uno de los investigadores, subrayó a New Scientist que la prevalencia de datos de alta calidad en inglés para entrenar a estos modelos es mayor que en la mayoría de otros idiomas, lo cual puede favorecer inadvertidamente los valores culturales anglocéntricos.

¿Es factible implementar un modelo multilingüe equitativo?

La implementación de un modelo LLM verdaderamente multilingüe plantea desafíos no solamente técnicos, sino también éticos y económicos. Aunque los modelos como Llama 2 de Meta han demostrado capacidad para procesar y responder preguntas en varios idiomas, estos todavía dependen predominantemente del inglés como un “lenguaje puente”.

Diseñar e implementar un modelo que opere de manera nativa en múltiples idiomas sin recurrir al inglés como intermediario implica superar varios obstáculos. Primero, requiere la compilación de un corpus de entrenamiento diverso y representativo que abarque una amplia gama de idiomas y dialectos. Esto, a su vez, conlleva a la necesidad de recabar y procesar enormes cantidades de datos en idiomas menos dominantes en el entorno digital, lo que representa un desafío logístico y financiero considerable.

Además, la dependencia del inglés en los LLM refleja patrones de poder y privilegio en el mundo real. Combatir esta tendencia significa enfrentar y cuestionar estos patrones, pero sobre todo hacer un esfuerzo para lograr una representación equitativa de todas las culturas y lenguas.

¿Hacia dónde nos dirigimos?

La detección de un sesgo anglocéntrico en los LLM abre un campo de investigación crucial para el futuro de la inteligencia artificial: cómo garantizar que los avances tecnológicos beneficien equitativamente a todas las culturas y lenguas. Es esencial que las futuras versiones de modelos de lenguaje grande se desarrollen con una cobertura lingüística más equitativa para reflejar y respetar la rica diversidad del panorama lingüístico y cultural humano, destacaron los investigadores suizos.