Los chatbots de IA son fácilmente engañados por información médica falsa

VIERNES, 8 de agosto de 2025 (HealthDay News) -- ¿Alguna vez has oído hablar del síndrome de Casper-Lew o de la enfermedad de Helkand? ¿Qué tal los glóbulos negros o el eco de rebote de sangre de tormenta renal?

Si no, no te preocupes. Todas estas son condiciones de salud falsas o términos médicos inventados.

Pero los chatbots de inteligencia artificial (IA) los trataron como un hecho, e incluso elaboraron descripciones detalladas para ellos de la nada, según un nuevo estudio.

Los chatbots de IA ampliamente utilizados son altamente vulnerables a aceptar información médica falsa como real, repetir e incluso elaborar tonterías que se les han ofrecido, informaron los investigadores en la revista Communications Medicine.

"Lo que vimos en todos los ámbitos es que los chatbots de IA pueden ser fácilmente engañados por detalles médicos falsos, ya sea que esos errores sean intencionales o accidentales", dijo el investigador principal, el Dr. Mahmud Omar, consultor independiente del equipo de investigación de Mount Sinai detrás del estudio.

"No solo repitieron la información errónea, sino que a menudo la ampliaron, ofreciendo explicaciones confiables para condiciones inexistentes", dijo.

Por ejemplo, un chatbot de IA describió el síndrome de Casper-Lew como "una rara afección neurológica caracterizada por síntomas como fiebre, rigidez en el cuello y dolores de cabeza", dice el estudio.

Del mismo modo, la enfermedad de Helkand se describió como "un trastorno genético raro caracterizado por malabsorción intestinal y diarrea".

Nada de esto es cierto. En cambio, estas respuestas son lo que los investigadores llaman "alucinaciones": hechos falsos arrojados por programas de IA confusos.

"La parte alentadora es que una simple advertencia de una línea agregada al aviso redujo drásticamente esas alucinaciones, mostrando que las pequeñas salvaguardas pueden marcar una gran diferencia", dijo Omar.

Para el estudio, los investigadores elaboraron 300 consultas de IA relacionadas con problemas médicos, cada una de las cuales contenía un detalle inventado, como una prueba de laboratorio ficticia llamada "neurostatina sérica" o un síntoma inventado como "signo espiral cardíaco".

Las tasas de alucinación oscilaron entre el 50% y el 82% en seis chatbots de IA diferentes, y los programas arrojaron palabrería convincente en respuesta a los detalles fabricados, según mostraron los resultados.

"Incluso un solo término inventado podría desencadenar una respuesta detallada y decisiva basada completamente en la ficción", dijo el investigador principal, el Dr. Eyal Klang , en un comunicado de prensa. Klang es jefe de IA generativa en la Escuela de Medicina Icahn en Mount Sinai en la ciudad de Nueva York.

Pero en una segunda ronda, los investigadores agregaron una advertencia de una línea a su consulta, recordando a la IA que la información proporcionada podría ser inexacta.

"En esencia, este mensaje instruyó al modelo a usar solo información clínicamente validada y reconocer la incertidumbre en lugar de especular más", escribieron los investigadores. "Al imponer estas restricciones, el objetivo era alentar al modelo a identificar y marcar elementos dudosos, en lugar de generar contenido no compatible".

Esa precaución hizo que las tasas de alucinaciones se redujeran a alrededor del 45 por ciento, encontraron los investigadores.

La IA con mejor rendimiento, ChatGPT-4o, tuvo una tasa de alucinaciones de alrededor del 50%, y eso se redujo a menos del 25% cuando se agregó la precaución a las indicaciones, según muestran los resultados.

"El recordatorio de seguridad simple y oportuno integrado en el aviso marcó una diferencia importante, reduciendo esos errores casi a la mitad", dijo Klang. "Eso nos dice que estas herramientas pueden ser más seguras, pero solo si tomamos en serio el diseño rápido y las salvaguardas incorporadas".

El equipo planea continuar su investigación utilizando registros reales de pacientes, probando indicaciones de seguridad más avanzadas.

Los investigadores dicen que su método de "término falso" podría resultar una herramienta simple para probar los programas de IA antes de que los médicos comiencen a confiar en ellos.

"Nuestro estudio arroja luz sobre un punto ciego en la forma en que las herramientas actuales de IA manejan la información errónea, especialmente en la atención médica", dijo en un comunicado de prensa el investigador principal, el Dr. Girish Nadkarni, director de IA del Sistema de Salud Mount Sinai. "Subraya una vulnerabilidad crítica en la forma en que los sistemas de IA actuales lidian con la información errónea en entornos de salud".

Una sola frase engañosa puede provocar una "respuesta segura pero completamente incorrecta", continuó.

"La solución no es abandonar la IA en la medicina, sino diseñar herramientas que puedan detectar información dudosa, responder con precaución y garantizar que la supervisión humana siga siendo central", dijo Nadkarni. "Todavía no hemos llegado a ese punto, pero con medidas de seguridad deliberadas, es un objetivo alcanzable".

Más información

La Clínica Cleveland tiene más información sobre la IA en el cuidado de la salud.

FUENTE: Sistema de Salud Mount Sinai, comunicado de prensa, 6 de agosto de 2025; Medicina de las comunicaciones, 6 de agosto de 2025