¿Puede la IA controlarse a sí misma? Los expertos dicen que los chatbots pueden detectar los errores de los demás

Los chatbots de IA se sienten cada vez más cómodos en el arte de la conversación humana. El problema, dicen los expertos, es que son propensos a dar respuestas inexactas o sin sentido, lo que se conoce como “alucinaciones”. Ahora, los investigadores han encontrado una posible solución: usar chatbots para detectar errores que otros chatbots han cometido.

Sebastian Farquhar, científico informático de la Universidad de Oxford, es coautor de un estudio publicado el miércoles en la revista Nature que postula que los chatbots como ChatGPT o Gemini de Google pueden usarse para eliminar falsedades de la IA.

Los chatbots utilizan grandes modelos de lenguaje, o LLM, que consumen grandes cantidades de texto de Internet y pueden usarse para diversas tareas, incluida la generación de texto prediciendo la siguiente palabra en una oración. Los robots encuentran patrones mediante prueba y error, y luego se utiliza la retroalimentación humana para ajustar el modelo. Pero hay un inconveniente: los chatbots no pueden pensar como humanos y no entienden lo que dicen.

Para probar esto, Farquhar y sus colegas hicieron preguntas a un chatbot y luego utilizaron un segundo chatbot para revisar las respuestas en busca de inconsistencias, de manera similar a la forma en que la policía podría intentar hacer tropezar a un sospechoso haciéndole la misma pregunta una y otra vez. Si las respuestas tenían significados muy diferentes, eso significaba que probablemente estaban confusas.

Dijo que al chatbot se le hizo una serie de preguntas de trivia comunes, así como problemas planteados de matemáticas de la escuela primaria.

Los investigadores verificaron la precisión de la evaluación del chatbot comparándola con la evaluación humana en el mismo subconjunto de preguntas. Descubrieron que el chatbot coincidía con los evaluadores humanos el 93% de las veces, mientras que los evaluadores humanos coincidían entre sí el 92% de las veces, lo suficientemente cerca como para que los chatbots que se evaluaban entre sí “no fueran preocupantes”, dijo Farquhar.

Farquhar dijo que para el lector medio, identificar algunos errores de la IA es “bastante difícil”. A menudo tiene dificultades para detectar tales anomalías cuando utiliza LLM para su trabajo porque los chatbots “a menudo te dicen lo que quieres escuchar, inventan cosas que no solo son plausibles, sino que serían útiles si fueran ciertas, algo que los investigadores han etiquetado como ‘adulación’”, dijo en un correo electrónico.

Las respuestas poco confiables son una barrera para la adopción generalizada de chatbots de IA, especialmente en campos médicos como la radiología, donde “podrían representar un riesgo para la vida humana”, dijeron los investigadores. También podrían dar lugar a precedentes legales inventados o noticias falsas.

No todo el mundo está convencido de que utilizar chatbots para evaluar las respuestas de otros chatbots sea una gran idea. En un artículo adjunto de News and Views en Nature, Karin Verspoor, profesora de tecnologías informáticas en la Universidad RMIT en Melbourne, Australia, dijo que existen riesgos al “combatir el fuego con fuego”.

La cantidad de errores producidos por un LLM parece reducirse si un segundo chatbot agrupa las respuestas en grupos semánticamente similares, pero “usar un LLM para evaluar un método basado en LLM parece circular y podría estar sesgado”, escribió Verspoor.

“Los investigadores tendrán que lidiar con la cuestión de si este enfoque realmente controla la producción de los LLM o, sin darse cuenta, alimenta el fuego al superponer múltiples sistemas que son propensos a alucinaciones y errores impredecibles”, añadió.

Farquhar lo ve “más como construir una casa de madera con vigas transversales de madera como soporte”. “No hay nada inusual en tener componentes de refuerzo que se apoyen entre sí”, dijo.