Por qué son tan peligrosas las “alucinaciones” en una inteligencia artificial

Las alucinaciones en el contexto de la inteligencia artificial generalmente se refieren a situaciones en las que un modelo genera información que no es precisa o relevante. Estos comportamientos pueden manifestarse de diversas maneras, como la generación de respuestas incorrectas o la producción de contenido falso o incoherente.

Por ejemplo, el chatbot de inteligencia artificial de la firma OpenAI, ChatGPT, señaló en un párrafo:

“La ceremonia de coronación tuvo lugar en la Abadía de Westminster, en Londres, el 19 de mayo de 2023. La abadía ha sido el escenario de las coronaciones de los monarcas británicos desde el siglo XI, y es considerada uno de los lugares más sagrados y emblemáticos del país”. Esta información es incorrecta dado que dicho evento ocurrió el 6 de mayo de 2023.

El sistema de ChatGPT -3.5 advierte que su capacidad de generar respuestas se restringe a la información disponible en internet hasta septiembre de 2021, lo que implica la posibilidad de enfrentar desafíos al proporcionar respuestas precisas a consultas. OpenAI explicó en el lanzamiento de GPT-4 que aún existen muchas limitaciones tales como sesgos sociales, potenciales alucinaciones y contradicciones en las respuestas.

Se detectó un segundo fallo o alucionación en el motor de búsqueda Bing, en el cual se presentaba la supuesta teoría sobre la aparición de algoritmos de búsqueda, atribuida a Claude Shannon. El resultado proporcionaba algunas citas en un intento de respaldar el artículo de investigación.

Sin embargo, el principal inconveniente radicaba en que Shannon nunca había redactado tal artículo, ya que las citas proporcionadas por Bing resultaron ser invenciones generadas por la inteligencia artificial.

Los algoritmos de inteligencia artificial generativa y de aprendizaje de refuerzo tienen la capacidad de procesar vastas cantidades de información en internet en cuestión de segundos y crear nuevos textos que suelen ser coherentes y bien redactados.

Muchos expertos advierten que es necesario que los usuarios sean precavidos al considerar la fiabilidad de estos textos. De hecho, tanto Google como OpenAI han solicitado a los usuarios que tengan esto presente.

En el caso de OpenAI, que mantiene una colaboración con Microsoft y su motor de búsqueda Bing, señalan que “GPT-4 tiene una propensión a ‘alucinar’, lo que significa que puede generar contenido sin sentido o información falsa en relación con ciertas fuentes”.

Riesgos de las alucinaciones

Los potenciales peligros de las alucinaciones en una inteligencia artificial son varios y pueden tener impactos significativos. Algunos de los riesgos más importantes incluyen:

-Desinformación y propagación de información falsa: si una IA genera información falsa o alucinada, puede contribuir a la propagación de desinformación, lo que puede ser perjudicial en una variedad de contextos, como la difusión de noticias falsas o la generación de contenido inexacto.

-Pérdida de credibilidad: cuando un chatbot impulsado con IA genera contenido incoherente o incorrecto con regularidad, puede perder la confianza de sus usuarios, lo que limita su utilidad y efectividad.

-Sesgos y prejuicios: las alucinaciones pueden llevar a la generación de contenido que refleja sesgos presentes en los datos de entrenamiento, lo que se consideraría discriminatorio o perjudicial para ciertos grupos.

-Dificultad en aplicaciones críticas: como en la toma de decisiones médicas o legales, las alucinaciones pueden tener consecuencias graves, ya que la información generada debe ser exacta.

-Problemas éticos y responsabilidad: los desarrolladores y propietarios de la IA pueden enfrentar desafíos éticos y legales si la IA genera contenido inadecuado o dañino.

Para evitar caer en las alucinaciones o errores generados por una inteligencia artificial, es importante seguir algunas pautas como verificar la información, saber del contexto en que se genera el intercambio de datos con la IA. También es importante tener alguna noción de cómo se entrenó el modelo de lenguaje así como de sus limitaciones, ejemplo si tiene información hasta cierta fecha.