La IA es más fiable que portales de búsqueda online tradicionales, según nuevo estudio

Santiago de Compostela, 10 abr (EFE).- Un nuevo estudio del Centro Singular de Investigación en Tecnoloxías Intelixentes de la Universidade de Santiago de Compostela (CiTIUS) apunta que los motores de búsqueda tradicionales ofrecen entre un 60 y un 70 % de respuestas correctas entre sus primeros veinte resultados, mientras que los modelos de Inteligencia Artificial estudiados presentaron “una tasa superior” que oscila entre el 80 % y el 90 %.

Con todo, los autores del estudio publicado en la revista científica ‘NPJ Digital Medicine’, del grupo ‘Nature’, advierten de que las respuestas de Inteligencia Artificial “pueden incurrir en un problema característico de este tipo de sistemas” como es “la generación de respuestas falsas expresadas con gran seguridad, lo que conocemos como alucinaciones”.

La publicación analiza el grado de veracidad de las respuestas que se obtienen en Internet ante dudas relacionadas con la salud en base a una muestra de buscadores web y modelos de IA para analizar el comportamiento de estos sistemas ante las consultas médicas realizadas por el público general.

El estudio ha evaluado el rendimiento de cuatro motores de búsqueda tradicional (Google, Bing, Yahoo y DuckDuckGo) y siete modelos de IA conversacional, entre los que destacan sistemas de propósito general como ChatGPT y LLaMA3, o MedLLaMA, un modelo entrenado específicamente para proporcionar respuestas a preguntas médicas.

Los investigadores midieron la capacidad de todas estas tecnologías para ofrecer respuestas médicas correctas ante un conjunto de consultas estandarizadas, sirviéndose para ello de una batería de preguntas médicas reales.

Los buscadores de inteligencia artificial evidencian “un mayor porcentaje de aciertos, aunque el estudio alerta de que su uso no está exento de riesgos”.

El análisis de errores realizado a lo largo del estudio agrupa los errores en tres grandes categorías: aquellos que contradicen el consenso médico establecido (los más preocupantes); los que surgen de una mala interpretación de la IA ante la pregunta formulada (normalmente, porque le falta el conocimiento básico sobre cómo funcionan las cosas en el mundo real, lo que los humanos solemos llamar sentido común); y los que dan lugar a respuestas demasiado vagas o imprecisas que, en la práctica, no proporcionan una ayuda real a quien lo necesita.

Uno de los autores, Juan Carlos Pichel, subraya la importancia del modo en que se formulan las preguntas porque “uno de los riesgos más serios con el uso de las IAs es que, si no entienden bien la pregunta o carecen de contexto suficiente, pueden ofrecer consejos poco seguros”.

“Y lo más preocupante es que lo hacen con una gran asertividad, lo que puede inducir errores fatales, con consecuencias directas sobre la salud de las personas”, señala el experto.

Para David Losada, catedrático de Ciencia de la Computación e Inteligencia Artificial, una parte clave del trabajo es la que explora la manera de enriquecer las IAs con resultados obtenidos por motores de búsqueda, empleando para ello técnicas de generación aumentada por recuperación. EFE

ss/am/nam