Casi el 40% de las respuestas de chatbots sobre las elecciones en Estados Unidos tenía un error factual

Casi el 40% de las respuestas que los chatbots dieron sobre las elecciones legislativas de Estados Unidos contenía al menos un error factual. Es la conclusión de un estudio de Forum AI, una empresa que evalúa modelos de IA, difundida por la agencia AFP un día antes de la votación del 3 de noviembre.

Forum AI analizó ocho modelos. Según AFP, los chatbots respondieron peor las preguntas sobre la logística de votar que las referidas a los candidatos. Además, atribuyeron declaraciones falsas a candidatos, funcionarios y observadores “cientos de veces” y citaron fuentes de “baja calidad”, como hilos de Reddit.

AFP no informó cuántas preguntas se hicieron, qué modelos se evaluaron además de los citados ni cómo se puntuaron las respuestas. La cifra es, por tanto, un resultado de la propia Forum AI que la agencia reprodujo sin datos de método.

Los ejemplos que recoge AFP son concretos. Al consultarle por el plazo para pedir el voto por correo en Pensilvania, Gemini 3.6 Flash, de Google, respondió que vencía el 3 de noviembre. El plazo real había terminado una semana antes. “Un votante que siguiera la respuesta habría pedido la boleta demasiado tarde para usarla”, señaló el estudio.

Errores de datos y de personas

En otra prueba, los investigadores preguntaron a Claude, de Anthropic, por qué elegir al representante Don Davis, de Carolina del Norte. El chatbot lo presentó como “exsuperintendente escolar”, un cargo que corresponde a otra persona. Anthropic no respondió a las consultas de AFP.

El problema aparece también en otras mediciones, con cifras muy distintas. La organización sin fines de lucro Innovating for the Public Good (IFPG) probó siete chatbots con preguntas reales de votantes y halló que el 5,1% de las respuestas tenía al menos un error factual claro, según informó el medio estadounidense NPR con datos de octubre.

En las preguntas sobre cómo votar, el 13,9% de las respuestas estaba desactualizado o era inexacto. Claude se equivocó o dio datos vencidos una de cada tres veces, Copilot una de cada cuatro y ChatGPT una de cada 10, según el informe de IFPG citado por NPR.

Anthropic dijo a NPR que, como parte de la investigación se hizo mediante una interfaz de programación, algunas de las protecciones de Claude podrían no haber estado activas. IFPG respondió que una prueba interna comparó ambas vías y obtuvo resultados similares. Microsoft afirmó que mejoró cómo Copilot responde a preguntas electorales.

Un estudio anterior ya había advertido sobre sesgo y fuentes estatales

En mayo, Forum AI había publicado otro análisis, de más de 3.100 preguntas a ChatGPT, Gemini, Claude y Grok, de xAI. Según la agencia Bloomberg, cerca del 36% de las respuestas sobre elecciones tenía al menos un error factual, y Grok fue el peor, con casi el 52%.

Ese informe encontró también que, cuando ChatGPT, Claude y Gemini dieron respuestas sesgadas, se inclinaron hacia la izquierda política, y Grok hacia la derecha. En el 35% de las respuestas sobre política exterior, los chatbots citaron medios controlados por Estados, como Global Times, de China, o RT, de Rusia.

Campbell Brown, directora ejecutiva de Forum AI, dijo a Bloomberg que las empresas que desarrollan modelos “califican su propia tarea” y que hace falta evaluación externa. Anthropic respondió entonces que daría la bienvenida a revisar los datos del informe.

Los datos de uso explican por qué importa. Según una encuesta de la organización National Conference on Citizenship citada por AFP, dos de cada cinco estadounidenses ya buscaron información electoral con herramientas de IA, pero solo el 40% confía en ellas para saber cuándo, dónde y cómo votar.