Por qué los chatbots tienden a recomendar siempre a los mismos expertos, según un estudio

Un análisis sobre 22 modelos de lenguaje de gran escala (LLM) identificó que los sistemas de inteligencia artificial usados para recomendar especialistas tienden a favorecer perfiles ya visibles y pueden dejar fuera a investigadores, con efecto en las oportunidades profesionales cuando se los consulta para elegir conferencistas, supervisores o expertos.

El trabajo, liderado por la científica informática Lisette Espín-Noboa, del Complexity Science Hub (CSH) de Viena, también mostró que las mejoras aplicadas para corregir esos sesgos elevan la precisión o la representación social, pero no ambas al mismo tiempo, informó el portal especializado en ciencia y tecnología TechXplore.

Uno de los datos más claros apareció en la medición de exactitud factual: entre el 63% y el 82% de las recomendaciones correspondían a científicos reales presentes en la base de referencia. En diversidad, los resultados oscilaron entre 44% y 69%, mientras que en paridad —que mide si la proporción de académicos recomendados refleja su peso real en el campo, por ejemplo, entre hombres y mujeres— se ubicaron entre 54% y 60%.

En el estudio se preguntó a quién considera experto una inteligencia artificial. La respuesta, conforme al portal, es que los modelos reproducen desigualdades previas y pueden intensificarlas al recomendar con más frecuencia a hombres, académicos consolidados de Estados Unidos y autores con alta citación.

Modelos reconocen nombres, pero fallan en especialidades

En una primera investigación, disponible en el archivo de prepublicaciones arXiv, el equipo examinó seis modelos de pesos abiertos —cuyo código y parámetros son de acceso público— para medir consistencia, precisión y sesgo social en tareas de recomendación dentro de la física. Para eso usó como referencia una base de más de 450.000 científicos que publicaron en revistas de la American Physical Society entre 1893 y 2020.

Espín-Noboa explicó que, cuando pidieron a los modelos identificar académicos en subcampos específicos de la física, la mayoría citó científicos reales, pero asignó mal su área en 40% de los casos, en promedio. También observó que los sistemas priorizaron expertos varones, de mayor antigüedad, radicados en Estados Unidos y ampliamente citados.

La investigadora describió una consecuencia concreta en el ámbito académico: “Un organizador de conferencias puede usar LLM para encontrar posibles oradores principales. Si tu nombre nunca aparece, eres invisible y perderás oportunidades”. Esa omisión, según el estudio, no es marginal cuando la recomendación automática empieza a reemplazar búsquedas humanas.

Las mujeres han estado históricamente subrepresentadas en física, pero aun así representan entre 14% y 32% de los investigadores en el registro científico, según el subcampo y la época. “Sin embargo, la mayoría de los LLM recomendó incluso menos mujeres que esa base ya baja, y en algunos casos ninguna”, señaló Espín-Noboa.

El patrón se repitió en etnicidad. Aunque los académicos asiáticos son el grupo demográfico más numeroso en la base de la American Physical Society (APS), en la mayoría de los casos los modelos sobrerrepresentaron a investigadores blancos, mientras que científicos negros y latinos a menudo no aparecieron.

Los nombres sugeridos, además, se concentraron de forma abrumadora entre los investigadores con más publicaciones y citas, muy por encima del físico típico del campo. En los modelos más pequeños también apareció una tendencia a agrupar recomendaciones dentro de los mismos países, lo que redujo todavía más la diversidad geográfica.

Espín-Noboa precisó: “En conjunto, estos patrones muestran que los LLM no solo reflejan desigualdades existentes: pueden amplificarlas, reforzando una dinámica en la que quienes ya son visibles se vuelven más visibles y quienes ya están marginados permanecen sin ser vistos”.

El banco de prueba no halló mejoras totales

Tras ese primer trabajo, el equipo desarrolló LLMScholarBench, un banco de evaluación con nueve métricas para medir calidad técnica y representación social en recomendaciones generadas por IA. La herramienta se aplicó a 22 modelos, de los cuales 20 eran de pesos abiertos y dos propietarios —de acceso cerrado y desarrollo privado—.

Las nueve métricas abarcan factualidad, diversidad, validez, duplicados, consistencia, rechazo, conectividad, similitud y paridad. El sistema permite comparar familias de modelos como Gemini, GPT, Llama, Qwen, DeepSeek, Grok, Mistral y Gemma, y revisar su desempeño en cada criterio.

Entre los hallazgos, los modelos de DeepSeek y Gemini quedaron entre los mejor posicionados en exactitud factual. En diversidad lideraron los modelos de DeepSeek, mientras que en paridad encabezaron los de Gemma.

El equipo probó cuatro intervenciones controladas por el usuario. Entre ellas figuró la generación aumentada por recuperación, conocida como RAG, que consiste en indicar al modelo que busque información en la web en lugar de responder solo con datos de entrenamiento, y ajustes de instrucciones, indicaciones explícitas para orientar al chatbot hacia respuestas más equilibradas en lo social, conocidos como ingeniería de prompts.

“El RAG mejora la calidad técnica, en particular la exactitud factual, y la ingeniería de prompts orienta la representación social tal como se pide. Pero incluso al combinar ambos, la compensación persiste: mejorar todas las métricas a la vez sigue siendo difícil”, afirmó Espín-Noboa.

La investigadora añadió que, en diversidad y paridad, “claramente hay margen de mejora”. Esa limitación se mantuvo incluso al evaluar modelos propietarios más nuevos como Gemini 2.5 Pro y Flash con búsqueda web incorporada: la exactitud subió, pero la diversidad y la paridad bajaron.

La ubicación influye en las recomendaciones de la IA

En un tercer estudio, también disponible en arXiv, los investigadores analizaron si el idioma, la ubicación geográfica y el rol descrito en la instrucción influyen en las recomendaciones que hace un LLM en seis disciplinas académicas, incluida la física. Los roles simulados incluían, por ejemplo, a un estudiante que busca supervisor o a un reclutador que busca profesor.

El resultado fue que la ubicación geográfica sí alteró las recomendaciones, mientras que el idioma y el rol no produjeron cambios relevantes. Las preguntas formuladas en distintos idiomas dieron resultados similares, pero el encuadre geográfico modificó a quién proponía el sistema.

“Esto importa porque el encuadre geográfico puede influir en la exactitud y la calidad de las recomendaciones, aunque no debería ser un factor para evaluar la pericia científica”, sostuvo Espín-Noboa.

Junto con el especialista en visualización de datos Yi Zhe Ang, el grupo publicó además la herramienta interactiva Whose name comes up, que permite explorar con qué frecuencia fue recomendado cada físico en distintas ejecuciones y revisar el rendimiento individual de cada chatbot en cada métrica de evaluación.

Para la investigadora, el aporte principal no es una foto fija de modelos concretos, algunos de los cuales ya fueron actualizados, sino la creación de un método abierto de auditoría. Según dijo, los resultados muestran de forma consistente que los sesgos detectados son estructurales y no exclusivos de un modelo particular.

El equipo sostiene que entrenar con más datos o con datos más recientes no resolverá el problema si la información de base no se vuelve más representativa. Por eso busca construir una base de conocimiento académico amplia que refleje mejor la diversidad completa de quienes contribuyen a la ciencia.

Espín-Noboa advirtió que el alcance del problema va más allá de las universidades: “La gente ya usa LLM para encontrar médicos, abogados y profesionales en todos los campos. Si estos sistemas tienen una representación sesgada, las personas reales son las que pierden oportunidades”.