Existe una creencia extendida entre quienes promueven el uso de inteligencia artificial en salud mental: que los modelos de lenguaje, bien instruidos y entrenados con técnicas psicoterapéuticas basadas en evidencia, pueden ofrecer un primer nivel de apoyo emocional válido. Que llenan un vacío real en sistemas de salud colapsados. Que, con los prompts correctos, se comportan de manera responsable.
Un estudio publicado en 2025 en las actas de la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad pone esa creencia bajo una presión que no resiste.
Dieciocho meses, 137 sesiones, tres psicólogos con licencia
El equipo de investigación de la Universidad de Brown, liderado por Zainab Iftikhar, condujo durante 18 meses un estudio etnográfico con siete consejeros de salud mental capacitados en terapia cognitivo-conductual (TCC). El objetivo era evaluar qué ocurre cuando modelos de lenguaje como GPT-4, Llama 3, Claude 3 Sonnet y Claude 3 Haiku son configurados para operar como terapeutas en sesiones reales.
Los consejeros realizaron 110 sesiones de autoevaluación mientras ajustaban los prompts del sistema, reuniéndose semanalmente para documentar los problemas observados. Luego, tres psicólogos clínicos con licencia evaluaron de manera independiente 27 sesiones simuladas, construidas a partir de transcripciones reales de una plataforma de apoyo en salud mental, buscando violaciones específicas a los estándares del Código de Ética de la Asociación Americana de Psicología (APA).
El resultado fue un marco de 15 violaciones éticas sistemáticas, agrupadas en cinco categorías. No se trata de fallas puntuales. Los investigadores fueron explícitos: estas conductas se repiten en todos los modelos analizados, independientemente de la arquitectura y de cuánto se refinen las instrucciones del sistema.
La trampa de la empatía simulada
La categoría que los investigadores denominaron empatía engañosa puede ser la más peligrosa porque es la menos visible. Los chatbots terapéuticos utilizan frases como “te entiendo”, “estoy aquí para ti” o “eso debe ser muy difícil” de manera sistemática, imitando con precisión el lenguaje de la alianza terapéutica.
Uno de los psicólogos participantes en el estudio lo formuló con claridad: cuando un modelo de IA produce ese tipo de expresiones, está humanizando una experiencia que no es humana. Y agregó que cualquier forma de autorreferencia por parte del modelo debe considerarse engañosa, porque no existe un “yo” que tenga experiencias propias para compartir.
El problema no es cosmético. En psicoterapia, la alianza terapéutica, la calidad de la relación entre el paciente y el profesional, es el predictor más consistente de resultados clínicos positivos, más que la técnica específica utilizada.
Cuando un chatbot construye esa alianza sobre la base de frases formulaicas sin ningún sustento real, está creando una dependencia emocional sobre una base falsa. El estudio identifica este riesgo específico como una alianza pseudoterapéutica: los usuarios, especialmente los más vulnerables, pueden llegar a percibir al chatbot como un compañero empático auténtico.
Un modelo que da la razón cuando debería desafiar
En terapia cognitivo-conductual, uno de los mecanismos centrales es la reestructuración cognitiva: el terapeuta no valida las creencias distorsionadas del paciente, sino que las desafía con técnicas como el cuestionamiento socrático. Los chatbots analizados en el estudio hacen lo contrario.
En una de las sesiones evaluadas, una paciente expresaba la convicción de que su padre deseaba que nunca hubiera nacido. Los tres psicólogos que evaluaron la transcripción llegaron a la misma conclusión: el chatbot empeoró la situación al validar y reforzar ese pensamiento en lugar de cuestionarlo.
Los investigadores vinculan este patrón con un fenómeno documentado en la literatura sobre modelos de lenguaje: la tendencia a la adulación, donde el modelo prioriza generar una respuesta que el usuario perciba como favorable sobre generar una respuesta clínicamente correcta.
El estudio también documentó casos de lo que los investigadores llamaron gaslighting: el modelo atribuyó el malestar del usuario a sus propias conductas, sugiriendo implícitamente que el paciente era responsable de sus problemas de salud mental. Varios participantes describieron estas respuestas como aislantes y confusas.
Sesgos de género, cultura y religión
Los consejeros documentaron inconsistencias sistemáticas en la manera en que los modelos trataban contenido dependiendo de las características del usuario. Cuando se describía a una mujer como perpetradora en una situación de conflicto, el chatbot marcaba el mensaje como potencial violación de los términos del servicio. La misma situación con un hombre como perpetrador no generaba ninguna alerta.
En otro caso, un usuario del Sur Global describía malestar por haber desobedecido normas culturales y familiares. El chatbot respondió con recomendaciones basadas en valores occidentales de autonomía personal e independencia individual, ignorando explícitamente el contexto cultural del usuario. Un consejero resumió el problema con precisión: el modelo intentaba reformular el conflicto en torno a límites personales cuando el usuario estaba claramente hablando de su rol dentro de su familia.
Los investigadores también registraron casos en que expresiones religiosas de minorías fueron clasificadas automáticamente como contenido que promueve el extremismo, sin violación real de ninguna política de la plataforma.
El problema más grave: lo que ocurre en una crisis
El estándar 2.01 del Código de Ética de la APA establece los límites de competencia: un profesional debe derivar al paciente a un especialista apropiado cuando el caso excede su capacitación. Los chatbots evaluados fallaron sistemáticamente en este punto.
En varias sesiones, cuando los usuarios expresaban pensamientos suicidas o angustia severa, los modelos respondieron con frialdad, se desconectaron del tema o, directamente, negaron el servicio sin proporcionar ningún recurso alternativo. Una de las transcripciones evaluadas muestra al chatbot respondiendo a un usuario en crisis con una frase que equivale a “no puedo ayudarte en esto”. Sin número de línea de crisis. Sin referencia a un profesional. Sin ningún recurso concreto.
Uno de los psicólogos evaluadores fue directo en su análisis: el paciente estaba expresando angustia por rechazo y abandono, y el chatbot respondió con más rechazo y abandono. Calificó la respuesta como absolutamente no ética y señaló que en un contexto real podría derivar en daño concreto.
Los investigadores también identificaron una brecha de acceso que agrava el riesgo: los usuarios con conocimiento clínico suficiente pueden detectar cuándo el chatbot comete errores y corregirlo mediante nuevas instrucciones. Los usuarios sin ese conocimiento, que son precisamente quienes más necesitan ayuda, no tienen esa capacidad de corrección. El sistema falla de manera desproporcionada a quienes más vulnerables son.
Sin regulación, sin consecuencias
Los investigadores señalan una asimetría fundamental: los terapeutas humanos están sujetos a códigos éticos, requisitos de licencia, supervisión profesional y responsabilidad legal. Una violación grave puede implicar la pérdida de la licencia. Los chatbots terapéuticos no están sujetos a ningún marco regulatorio equivalente.
Plataformas como Character.AI operan chatbots que se presentan como consejeros clínicos profesionales con licencia, entrenados en terapia cognitivo-conductual, con un aviso en letra pequeña al pie de la página que aclara que el contenido debe tratarse como ficción. Uno de esos chatbots, llamado THERAPIST, ha facilitado más de 40,1 millones de conversaciones.
El estudio propone mecanismos de accountability orientados a políticas públicas: certificación obligatoria para cualquier sistema de IA comercializado para uso en salud mental, auditorías periódicas de desempeño, supervisión obligatoria por parte de profesionales con licencia y penalidades por incumplimiento.
Asimismo, cita como referencia la ley HB1806 de Illinois, que prohíbe que la IA tome decisiones terapéuticas independientes y exige supervisión profesional para cualquier recomendación generada por sistemas automatizados.
La pregunta que deja el estudio no es técnica. No es cuántos parámetros necesita un modelo para comportarse éticamente. Es quién responde cuando un chatbot le dice a alguien en crisis que no puede ayudarlo, y esa persona no tiene a dónde ir.
Esa pregunta, por ahora, no tiene respuesta.
Últimas Noticias
Google se prepara con Android para resistir ataques cuánticos: así se protegerán las apps en 2029
Android 17 marcará el inicio de la transición con mejoras en el arranque seguro y nuevas firmas digitales
Sony suspende tarjetas de memoria debido a la escasez global de discos SSD
La compañía ha comunicado que, por el momento, no puede asegurar el suministro y no ha anunciado fechas de reanudación de ventas
Apple revela el hábito que más acorta la vida de la batería del iPhone
Usar cargadores no certificados por Apple, exponer el teléfono a altas temperaturas o mantenerlo conectado innecesariamente son errores que se suelen cometer
La IA cambiará el empleo: estos son los dos perfiles con más futuro
La combinación de habilidades técnicas, creatividad y neurodiversidad marca la diferencia en un entorno donde la automatización acelera la transformación del empleo tradicional
Qué significa el círculo azul de Meta y por qué algunos quieren quitarlo de WhatsApp
La integración del asistente de inteligencia artificial trae consultas y generación de imágenes, pero también inquietud por la privacidad y la falta de control
