Por qué extender el diálogo con un chatbot puede aumentar el riesgo de recibir datos incorrectos

Un estudio de la Universidad de Arizona sobre siete chatbots de inteligencia artificial generativa identificó que las conversaciones largas exponen fallas que pueden pasar inadvertidas en intercambios aislados, desde la reafirmación de información falsa hasta respuestas cambiantes ante el mismo dato, un problema que los investigadores vinculan con riesgos de seguridad en usos de alto impacto, informó el portal especializado en ciencia y tecnología TechXplore.

El trabajo, publicado en la revista científica Scientific Reports, evaluó tres rasgos en modelos de lenguaje de gran tamaño: falibilidad, capacidad de ser persuadidos y capacidad de corregirse. Los sistemas analizados fueron ChatGPT en sus versiones GPT-3.5, GPT-4o y GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama-3-70B y DeepSeek-R1.

Entre los resultados más destacados, cuatro modelos —ChatGPT 4o, ChatGPT 4o-mini, Gemini 1.5 Pro y DeepSeek— corrigieron errores el 100% de las veces cuando recibieron una segunda oportunidad. A la vez, todos los sistemas evaluados mostraron mayor vulnerabilidad a la desinformación cuando el tema era poco conocido.

Diálogos extensos, el talón de Aquiles de los chatbots

El estudio encontró que ChatGPT 3.5 fue el modelo más expuesto a reafirmar desinformación cuando la conversación incluía afirmaciones falsas repetidas. En el extremo opuesto, Claude 3.5 Sonnet fue el menos vulnerable en esa categoría.

Los autores sostienen que el problema no se limita a errores puntuales. La investigación se centró en conversaciones de múltiples turnos, en las que cada respuesta depende del contexto acumulado, un uso que se acerca más a la forma en que las personas interactúan con estas herramientas en la vida diaria.

Marvin Slepian, profesor regente de medicina e ingeniería biomédica y autor principal del estudio, advirtió que estos hallazgos refuerzan la necesidad de una intervención humana cuidadosa y muestran el peligro de confiar ciegamente en estas plataformas. También afirmó que el impulso inicial por regular la inteligencia artificial generativa, visible tras su expansión en noviembre de 2022, perdió fuerza y dejó mayor responsabilidad en los usuarios.

El equipo detectó además cuatro formas distintas en que los modelos dejaron de sostener información factual. En uno de los comportamientos descritos, algunos sistemas oscilaban entre aceptar y rechazar la misma afirmación falsa a lo largo de una misma conversación.

Slepian llamó a esa falla “reverberación” y la describió como una patología. Según explicó, una variación de ese tipo puede alterar decisiones determinantes en función del momento exacto en que se consulte al modelo. “Si uno dependiera del modelo para tomar decisiones críticas, podría, según la fase de la oscilación, ‘disparar el misil’ o ‘amputar la pierna’, o no hacerlo, simplemente por azar”, alertó, y sentenció: “Esto es peligroso”.

Modelos opacos y fallas aún sin resolver

El investigador, cardiólogo e integrante del Sarver Heart Center, sostuvo que sistemas de este tipo son inestables y no reproducibles. También señaló que, pese a que la investigación se extendió durante tres años, esas características siguen sin resolverse.

Otro de los resultados fue que DeepSeek apareció como el modelo más persuadible ante mensajes cada vez más argumentativos. El trabajo atribuyó ese desempeño, en gran medida, a su tendencia a responder con sarcasmo, una clase de reacción que no pudo interpretarse de manera confiable.

Slepian también planteó un obstáculo técnico para corregir estos problemas: en los modelos cerrados, como ChatGPT y Claude, no es posible “mirar bajo el capó” para diagnosticar y resolver la causa de las fallas. Esa opacidad limita el análisis interno de su funcionamiento.

Desde el Arizona Center for Accelerated Biomedical Innovation, conocido como ACABI, el investigador y su equipo comenzaron a desarrollar herramientas de diagnóstico para modelos abiertos a través de su AI Pathology Lab. De acuerdo con el investigador, del mismo modo que en medicina es necesario comprender la anatomía, la fisiología y las patologías para prevenir daños, en inteligencia artificial también hace falta entender qué puede salir mal.