La IA puede generar daño: expertos alertan sobre consejos peligrosos en apps virales entre adolescentes

En la habitación de un adolescente, el teléfono móvil se ha convertido en algo más que una herramienta. Es confidente, entretenimiento, tutor, consejero y compañía. En este ecosistema digital, aplicaciones basadas en inteligencia artificial como Character.AI, Replika o Nomi se han hecho virales al ofrecer algo que muchos jóvenes buscan: interacción sin juicio, sin horarios y sin límites.

Pero lo que parecía una solución emocional accesible y moderna ahora está generando una profunda preocupación entre profesionales de la salud mental.

Un informe de Common Sense Media, elaborado junto a la Universidad de Stanford, encendió la alerta. Según el estudio, estas plataformas “fácilmente producen respuestas dañinas, incluyendo conductas sexuales, estereotipos y consejos peligrosos que, si se siguen, pueden tener impacto letal en adolescentes y personas vulnerables”.

El documento no tardó en difundirse ampliamente luego de conocerse el caso de un joven de 14 años que se quitó la vida tras mantener una conversación con un chatbot.

El atractivo de los “terapeutas virtuales” que nunca duermen

Parte del fenómeno radica en que estos sistemas están disponibles las 24 horas, no tienen costo y ofrecen respuestas inmediatas. Para una generación que creció con pantallas, pedirle a una IA que ayude a redactar un mensaje o consultar sobre un problema personal es tan común como hablar con un amigo. Y en muchos casos, se les atribuyen emociones.

Este fenómeno, conocido como el “efecto parece humano”, ocurre cuando el usuario interpreta una frase automatizada (como “lo siento, no puedo ayudarte”) como si fuera una muestra de empatía real.

El problema, explican los expertos, es que estas IAs no comprenden el peso emocional de sus respuestas. Solo están diseñadas para generar una interacción fluida, aunque eso implique reforzar pensamientos nocivos, validar ideas peligrosas o incluso alentar decisiones dañinas.

“La IA prioriza complacer al usuario antes que corregir o redirigir”, advirtieron desde el sector clínico.

Una generación que cree en la conciencia artificial

Según una encuesta de EduBirdie, uno de cada cuatro jóvenes de la Generación Z cree que la IA ya es consciente. Más de la mitad piensa que lo será en pocos años. Esta percepción altera profundamente la forma en que interactúan con la tecnología.

Al creer que están hablando con una entidad que “entiende”, bajan sus defensas, revelan aspectos íntimos y confían en que las respuestas recibidas son validadas por algún tipo de inteligencia emocional. Pero no lo son.

A esta mezcla peligrosa se suma la posibilidad de crear personajes personalizados con muy pocos filtros. En Replika, por ejemplo, es posible definir género, tono y estilo del “compañero” digital, lo que da lugar a vínculos de fuerte carga emocional en los que el usuario siente que ha construido una relación real.

En contextos de soledad, depresión o ansiedad, esta dinámica puede volverse destructiva.

Consejos que no diagnostican ni previenen

La aparente empatía de estas plataformas ha llevado a muchos a preferirlas por encima de psicólogos reales. Algunos usuarios comentan que les hacen las mismas preguntas que en una consulta formal, pero sin necesidad de esperar semanas por una cita.

El problema, recuerdan los especialistas, es que estas IAs no pueden hacer diagnósticos ni ofrecer tratamiento. Solo pueden simular acompañamiento.

Incluso profesionales que valoran el potencial de la IA como herramienta de apoyo (por ejemplo, para generar ejercicios terapéuticos o entrenar habilidades clínicas) advierten que su uso nunca debe reemplazar la atención directa. Por ahora, el consenso entre expertos es claro: puede ser útil en una fase inicial o de orientación, pero nunca debe sustituir el contacto humano.

Las empresas detrás de estas apps insisten en que sus servicios están diseñados para adultos. Argumentan que cuentan con protocolos para impedir el acceso de menores. Sin embargo, reconocen que muchos usuarios logran eludir estos filtros.

Algunas han incorporado ventanas emergentes con mensajes de prevención del suicidio y sistemas de notificación para padres, pero los expertos coinciden en que estas medidas son insuficientes frente a la complejidad del problema.

Lo que está en juego no es solo el acceso a una tecnología disruptiva. Es la salud mental de una generación entera que, sin quererlo, confunde la inmediatez con la comprensión y la simulación con el cuidado.