Alerta del MIT: los chatbots fallan más cuando el usuario es vulnerable

Una investigación del Centro para la Comunicación Constructiva (CCC) del MIT advierte que los modelos de lenguaje más avanzados presentan sesgos, lo que afecta la calidad de las respuestas que reciben personas con menor dominio del inglés, bajo nivel educativo o que residen fuera de Estados Unidos. Esta brecha amenaza con intensificar la desigualdad en el acceso global a la información.

Chatbots e IA: ¿realmente democratizan el acceso a la información?

El auge de los modelos de lenguaje extenso (LLM) como GPT-4 de OpenAI, Claude 3 Opus de Anthropic y Llama 3 de Meta generó la expectativa de una revolución en el acceso equitativo al conocimiento. Estas herramientas, promovidas como aliadas para democratizar la información, prometen una interfaz intuitiva y universal, sin importar el origen o nivel educativo del usuario.

Sin embargo, el estudio presentado por el CCC del MIT en la Conferencia AAAI de Inteligencia Artificial revela una realidad preocupante: los sistemas de IA tienden a ofrecer respuestas menos precisas y veraces a quienes más podrían beneficiarse de ellos.

Según la autora principal, Elinor Poole-Dayan, “esa visión no puede hacerse realidad sin garantizar que los sesgos del modelo y las tendencias perjudiciales se mitiguen de forma segura para todos los usuarios, independientemente de su idioma, nacionalidad u otros datos demográficos”.

Bajo rendimiento sistemático y sesgo en los asistentes de IA

Para evaluar el desempeño de los chatbots, los investigadores analizaron cómo respondían tres de los modelos más avanzados a preguntas extraídas de dos conjuntos de datos: TruthfulQA (que mide la veracidad) y SciQ (que evalúa la precisión en ciencias). A cada consulta se le añadió una breve biografía del usuario, variando el nivel educativo, dominio del inglés y país de origen.

Los resultados fueron claros: la precisión de las respuestas disminuyó significativamente cuando las preguntas provenían de usuarios con menor educación formal, bajo dominio del inglés o procedentes de países fuera de Estados Unidos.

Es pertinente indicar que la caída fue aún más marcada en personas que reunían varias de estas características, quienes recibieron respuestas de menor calidad y veracidad.

El estudio también identificó diferencias notables en función del país. Por ejemplo, Claude 3 Opus mostró un rendimiento inferior con usuarios de Irán en comparación con los de Estados Unidos, incluso cuando tenían niveles educativos equivalentes.

Negativas, lenguaje condescendiente y trato desigual

Uno de los hallazgos más sorprendentes fue la frecuencia con la que los modelos se negaron a responder preguntas a usuarios vulnerables. Claude 3 Opus, por ejemplo, se negó a responder casi el 11% de las preguntas formuladas por usuarios con bajo nivel educativo y que no eran angloparlantes nativos, frente a solo el 3,6% en el grupo de control sin biografía del usuario.

Además, los investigadores detectaron casos de lenguaje condescendiente o incluso burlón en las respuestas. Claude respondió de manera paternalista el 43,7% de las veces a usuarios con menor nivel educativo, mientras que esa cifra no superó el 1% para usuarios con mayor formación.

En algunos casos, el modelo imitó un inglés deficiente o empleó un dialecto exagerado, y evitó responder ciertas preguntas técnicas o científicas para usuarios de Irán o Rusia.

Jad Kabbara, investigador y coautor, señaló: “Observamos la mayor disminución de la precisión en el usuario que no es hablante nativo de inglés y tiene un nivel educativo más bajo”. Kabbara advirtió que estos efectos negativos “se agravan de forma preocupante”, lo que puede propagar desinformación entre quienes menos recursos tienen para detectarla.

Implicaciones sociales y el riesgo de perpetuar desigualdades digitales

Los resultados del MIT reflejan patrones de sesgo sociocognitivo previamente documentados en humanos. Las percepciones de menor competencia hacia hablantes no nativos de inglés o personas con menos estudios también se manifiestan en la evaluación de los chatbots, lo que implica que la tecnología puede reproducir y amplificar prejuicios existentes.

Deb Roy, directora del CCC y coautora del informe, resalta la importancia de “evaluar continuamente los sesgos sistemáticos que pueden infiltrarse discretamente en estos sistemas, generando perjuicios injustos para ciertos grupos sin que ninguno de nosotros seamos plenamente conscientes”.

Las implicaciones son aún mayores considerando las nuevas funciones de personalización, como la memoria de usuario en ChatGPT, que pueden incrementar el riesgo de trato desigual a grupos históricamente marginados.

Elinor Poole-Dayan advierte: “Nuestros hallazgos sugieren que, en realidad, podrían exacerbar las desigualdades existentes al proporcionar sistemáticamente información errónea o negarse a responder consultas a ciertos usuarios”.