Los chatbots de IA se sienten cada vez más cómodos en el arte de la conversación humana. El problema, dicen los expertos, es que son propensos a dar respuestas inexactas o sin sentido, lo que se conoce como “alucinaciones”. Ahora, los investigadores han encontrado una posible solución: usar chatbots para detectar errores que otros chatbots han cometido.
Sebastian Farquhar, científico informático de la Universidad de Oxford, es coautor de un estudio publicado el miércoles en la revista Nature que postula que los chatbots como ChatGPT o Gemini de Google pueden usarse para eliminar falsedades de la IA.
Los chatbots utilizan grandes modelos de lenguaje, o LLM, que consumen grandes cantidades de texto de Internet y pueden usarse para diversas tareas, incluida la generación de texto prediciendo la siguiente palabra en una oración. Los robots encuentran patrones mediante prueba y error, y luego se utiliza la retroalimentación humana para ajustar el modelo. Pero hay un inconveniente: los chatbots no pueden pensar como humanos y no entienden lo que dicen.
Para probar esto, Farquhar y sus colegas hicieron preguntas a un chatbot y luego utilizaron un segundo chatbot para revisar las respuestas en busca de inconsistencias, de manera similar a la forma en que la policía podría intentar hacer tropezar a un sospechoso haciéndole la misma pregunta una y otra vez. Si las respuestas tenían significados muy diferentes, eso significaba que probablemente estaban confusas.
Dijo que al chatbot se le hizo una serie de preguntas de trivia comunes, así como problemas planteados de matemáticas de la escuela primaria.
Los investigadores verificaron la precisión de la evaluación del chatbot comparándola con la evaluación humana en el mismo subconjunto de preguntas. Descubrieron que el chatbot coincidía con los evaluadores humanos el 93% de las veces, mientras que los evaluadores humanos coincidían entre sí el 92% de las veces, lo suficientemente cerca como para que los chatbots que se evaluaban entre sí “no fueran preocupantes”, dijo Farquhar.
Farquhar dijo que para el lector medio, identificar algunos errores de la IA es “bastante difícil”. A menudo tiene dificultades para detectar tales anomalías cuando utiliza LLM para su trabajo porque los chatbots “a menudo te dicen lo que quieres escuchar, inventan cosas que no solo son plausibles, sino que serían útiles si fueran ciertas, algo que los investigadores han etiquetado como ‘adulación’”, dijo en un correo electrónico.
Las respuestas poco confiables son una barrera para la adopción generalizada de chatbots de IA, especialmente en campos médicos como la radiología, donde “podrían representar un riesgo para la vida humana”, dijeron los investigadores. También podrían dar lugar a precedentes legales inventados o noticias falsas.
No todo el mundo está convencido de que utilizar chatbots para evaluar las respuestas de otros chatbots sea una gran idea. En un artículo adjunto de News and Views en Nature, Karin Verspoor, profesora de tecnologías informáticas en la Universidad RMIT en Melbourne, Australia, dijo que existen riesgos al “combatir el fuego con fuego”.
La cantidad de errores producidos por un LLM parece reducirse si un segundo chatbot agrupa las respuestas en grupos semánticamente similares, pero “usar un LLM para evaluar un método basado en LLM parece circular y podría estar sesgado”, escribió Verspoor.
“Los investigadores tendrán que lidiar con la cuestión de si este enfoque realmente controla la producción de los LLM o, sin darse cuenta, alimenta el fuego al superponer múltiples sistemas que son propensos a alucinaciones y errores impredecibles”, añadió.
Farquhar lo ve “más como construir una casa de madera con vigas transversales de madera como soporte”. “No hay nada inusual en tener componentes de refuerzo que se apoyen entre sí”, dijo.
Últimas Noticias
El inmigrante afgano implicado en el ataque armado contra la Guardia Nacional en Washington fue acusado de asesinato
La fiscal estadounidense Jeanine Pirro dijo que el sospechoso, Rahmanullah Lakanwal, enfrentará cargos adicionales a medida que continúa la investigación
Un pasado militar y una adaptación fallida en EEUU: lo que se sabe de Rahmanullah Lakanwal y el ataque armado en Washington
El ex integrante de una unidad respaldada por la CIA emigró a Estados Unidos tras la retirada de Kabul y tuvo dificultades para encontrar estabilidad laboral y social antes de ser señalado por el ataque
Mientras el papa León XIV visita Líbano, los cristianos huyen de Medio Oriente
Los cristianos siguen siendo la minoría religiosa más numerosa de la región donde Jesús nació, vivió y murió, pero la comunidad se está reduciendo
La policía de Washington D.C. comenzará a patrullar con la Guardia Nacional después del ataque fatal
Si se implementa a largo plazo, el cambio modificaría significativamente la forma en que las tropas de la Guardia Nacional han trabajado con las fuerzas del orden en el Distrito desde su llegada
Quién era Sarah Beckstrom, la guardia del Ejército de EEUU que murió tras ser atacada junto a su compañero Andrew Wolfe
El hombre de 24 años pelea por su vida, mientras que la joven de 20 falleció en la madrugada. El autor del crimen fue un ciudadano afgano que resultó herido y quedó detenido. Donald Trump anunció que impulsará nuevas restricciones a la inmigración
