Tarragona, 6 feb (EFE).- Un estudio de la Universitat Rovira i Virgili (URV) de Tarragona evidencia las limitaciones de la Inteligencia Artificial (IA) en la comprensión del lenguaje tras comparar las capacidades de siete modelos de esta tecnología con las de los humanos y revelar su falta de precisión en las respuestas.
Según informa este jueves la URV, los resultados muestran que, a pesar de su éxito en algunas tareas específicas, los modelos de IA no alcanzan un nivel comparable al de las personas en pruebas sencillas de comprensión de textos.
"Su capacidad para llevar a cabo tareas complejas no garantiza que sean competentes en tareas sencillas", señalan los autores del estudio.
Con el fin de comparar el rendimiento en la comprensión de textos de humanos y modelos extensos de lenguaje (MEL) —diseñados para generar textos de manera autónoma a partir de un requerimiento del usuario—, los investigadores formularon 40 preguntas a siete modelos de IA —Bard, ChatGPT-3.5, ChatGPT-4, Falcon, Gemini, Llama2 y Mixtral—, utilizando estructuras gramaticales simples y verbos de uso frecuente.
Por otro lado, sometieron a un grupo de 400 personas, todos hablantes nativos de inglés, a las mismas preguntas y compararon la precisión de sus respuestas con las de los MEL.
La media de aciertos de los humanos fue del 89 %, superior a la de los modelos de IA, entre los que destacó ChatGPT-4, con un 83 % de respuestas correctas.
"Los resultados evidencian una gran diferencia en el rendimiento de las tecnologías de comprensión de textos: excepto ChatGPT-4, ninguno de los MLE alcanzó una precisión superior al 70 %", explican los investigadores.
"Aunque los MLE pueden generar textos gramaticalmente correctos y aparentemente coherentes, los resultados de este estudio sugieren que, en el fondo, no entienden el significado del lenguaje de la forma en que lo hace un humano", afirma Vittoria Dentella, del grupo de investigación en Lengua y Lingüística de la URV.
Según el estudio, los modelos de lenguaje extensos no interpretan el significado como lo hace una persona, que integra elementos semánticos, gramaticales, pragmáticos y contextuales, sino que funcionan identificando patrones en los textos y comparándolos con los que presenta la información con la que han sido entrenados y mediante algoritmos predictivos basados en estadísticas. EFE
dpj/pll/cc
Últimas Noticias
PP enmendará la Ley de Multirreincidencia para que no se "premie" a delincuentes con la regularización de migrantes
La portavoz popular Cuca Gamarra anunció que su formación presentará propuestas en el Senado para impedir que la actual política de documentación de extranjeros, aprobada por el Ejecutivo, permita que personas con antecedentes eludan controles y accedan a beneficios administrativos
Feijóo decide tomar las riendas de la negociación con Vox en Extremadura y Aragón para evitar repetir elecciones
La dirección del PP asume el liderazgo en el diálogo con Vox en dos comunidades clave, buscando consensos sólidos que permitan formar gobiernos estables y evitar nuevos comicios, según subrayó Cuca Gamarra tras el comité de dirección
El PSOE advierte a Junts de las consecuencias para millones de catalanes si cae el decreto de escudo social
Cerca de dos millones de hogares y más de un millón de autónomos en Cataluña podrían perder recursos para afrontar gastos esenciales si fracasan las negociaciones, advierte el PSOE en un llamado a responsabilidad dirigido a los representantes catalanes
El PP critica al Gobierno por desclasificar los documentos del 23-F y no dar "explicaciones sobre el presente"
Cuca Gamarra sostiene que la revelación de archivos históricos no aporta información relevante y reclama respuestas actuales sobre los últimos años de la gestión de Pedro Sánchez mientras cuestiona la prioridad del ejecutivo en la transparencia del presente
La Audiencia Provincial frena la decisión de Peinado de que el 'caso Begoña Gómez' acabe en un jurado popular
Los magistrados ordenan volver a la fase previa del proceso contra la esposa del presidente del Gobierno, al considerar que no existen elementos suficientes para avanzar y cuestionan la decisión del instructor por falta de justificación adecuada de las acusaciones
