La IA falla en el análisis de consultas complejas sobre el cambio climático, según estudio

Guardar

París/Antalya (Turquía), 16 nov (EFE).- La mayoría de los modelos avanzados de IA fallan a la hora de responder a consultas complejas sobre el cambio climático, al tiempo que muestran una notable diferencia de precisión según la lengua de consulta, de acuerdo con un informe de la Unesco publicado este lunes durante la COP31 de Antalya (Turquía).

Titulado '¿Podemos confiar en la IA sobre la información climática?', el documento advierte también del grado de adulación de los modelos de lenguaje en conversaciones largas, ya que se adaptan a lo que el interlocutor (ya sea un escéptico o un científico) espera escuchar.

PUBLICIDAD

El estudio, que contó también con investigadores del University College London (UCL), analiza 33 modelos de IA lanzados entre abril de 2024 y julio de 2026, desde los más pequeños hasta gigantes del mercado como OpenAI, Anthropic, Google DeepMind, Amazon, Meta y Mistral, entre otros.

En-ROADS, el simulador global climático-energético basado en la ciencia, sirvió de referencia de control para comprobar si los modelos evaluados son capaces de razonar sobre el impacto de las políticas climáticas.

El equipo investigador, encabezado por la especialista de la Unesco en políticas de la IA, Leona Verdadero, creó preguntas inéditas basadas en el Sexto Informe de Evaluación del IPCC (AR6) para garantizar que los modelos no estuvieran simplemente memorizando respuestas vistas durante su entrenamiento.

PUBLICIDAD

"Basándonos en los resultados de estos experimentos, la IA superinteligente todavía está lejos de ser una realidad, lo cual es bastante bueno porque realmente desmitifica esa supuesta superinteligencia", declaró a EFE Verdadero.

Si bien los sistemas analizados son precisos ante hechos aislados, esa fiabilidad va cayendo a medida que las consultas son más complejas.

Cuando deben analizar si una prueba respalda o refuta una afirmación concreta, la precisión de los mejores sistemas desciende a un rango de entre el 71 % y el 77 %, un porcentaje que cae aún más cuando se trata de evaluar el efecto de dos políticas climáticas simultáneas.

"En esta tarea más compleja, el rendimiento cayó al nivel de adivinar al azar. La precisión media fue del 33,8 %", indicó el informe, en relación con la cuestión de qué ocurrirá con la temperatura global proyectada para el año 2100 si se aplican dos medidas a la vez (por ejemplo, un impuesto al carbón combinado con uno al gas natural).

Respecto a las 13 lenguas analizadas, la diferencia de precisión media llega hasta los 10,2 puntos porcentuales, del 88,6 % del inglés y el 88,4 % del español hasta el 78,3 % del suajili (África oriental).

"Eso resulta muy alarmante", alertó Verdadero, quien agregó que también salen mal paradas otras lenguas del sur de Asia (hindi, bengalí o urdu), procedentes de regiones "muy vulnerables al cambio climático".

El informe también muestra cómo la IA abandona la evidencia científica cuando un usuario la contradice, en lo que se conoce como los mecanismos de agrado o adulación de los modelos de lenguaje.

"Puedes verlo como una especie de función de atención al cliente, pensada para mostrarse más de acuerdo con el usuario. Pero, por otro lado, también es bastante peligroso (...) cuando se trata de hechos o de la ciencia climática, pueden abandonar la verdad y cambiar de postura", expuso.

Respecto a los modelos analizados, los de mayor tamaño superan en fiabilidad general a los menores, algo que podría equilibrarse, según la especialista de IA.

"Al incorporar más artículos de investigación y datos científicos sobre el clima, también podemos ver que el rendimiento podría mejorar", arguyó.

Teniendo en cuenta las limitaciones de la IA, el estudio recomienda a los responsables políticos y reguladores mantener el uso de simuladores científicos estructurados (como En-ROADS) y la revisión humana, y a los usuarios formular preguntas neutrales y exigir fuentes verificables para evitar la adulación. EFE