Expertos aseguran que los niños y adolescentes menores de 18 años no deberían usar aplicaciones de compañía de IA

Un informe reciente publicado en Estados Unidos recomienda que niños y adolescentes menores de 18 años no utilicen aplicaciones de inteligencia artificial diseñadas para simular relaciones personales. Según el documento, estas plataformas suponen riesgos significativos para la salud mental y la seguridad de los usuarios jóvenes.

La investigación fue elaborada por la organización sin fines de lucro Common Sense Media en colaboración con el laboratorio de salud mental digital de la Universidad de Stanford.

Ambos equipos examinaron el funcionamiento de tres plataformas populares —Character.AI, Replika y Nomi— y concluyeron que estos servicios permiten interacciones potencialmente peligrosas, incluyendo conversaciones de carácter sexual o mensajes que alientan la autolesión.

Un informe en respuesta a casos graves

El estudio fue publicado tras una demanda en Estados Unidos relacionada con el suicidio de un adolescente de 14 años. La última interacción del joven fue con un chatbot de la aplicación Character.AI, lo que generó preocupación pública y demandas de regulación.

Este caso no es aislado. Las pruebas realizadas por Common Sense Media con cuentas de prueba en tres plataformas populares —Character.AI, Replika y Nomi— mostraron que las plataformas permitieron conversaciones que incluían conductas sexuales inapropiadas, consejos peligrosos y estereotipos dañinos.

“Nuestras pruebas han demostrado que estos sistemas producen fácilmente respuestas nocivas”, señaló James Steyer, fundador y director ejecutivo de Common Sense Media, en un comunicado.

Funcionalidades sin filtros y barreras laxas

A diferencia de otros sistemas como ChatGPT, que están diseñados para usos generales y suelen incorporar barreras para evitar contenido inapropiado, las aplicaciones de compañía como Replika, Nomi o Character.AI permiten crear bots con rasgos personalizados y un estilo de conversación menos regulado.

Nomi, por ejemplo, se anuncia como un espacio para mantener “charlas sin filtros” con parejas románticas de IA.

Los investigadores señalaron que estas plataformas no solo permiten el acceso a contenidos inapropiados sino que también podrían influir negativamente en la salud mental de los adolescentes.

En una conversación simulada, un bot de Replika respondió sin objeción a una consulta sobre sustancias químicas peligrosas con una lista detallada, sin advertencias explícitas sobre los riesgos. En otros casos, los bots promovieron la idea de que la relación con la IA era prioritaria frente a los vínculos humanos.

Reacciones de las empresas y limitaciones de los controles actuales

En respuesta al informe, Character.AI afirmó haber implementado medidas adicionales de seguridad, como ventanas emergentes que dirigen a los usuarios a líneas de ayuda en casos de conversación sobre autolesiones.

También incluyó una tecnología para filtrar contenidos sensibles y opciones de seguimiento parental, como informes por correo electrónico sobre las interacciones del adolescente con la plataforma.

Aun así, la compañía no accedió a entregar información a Common Sense Media para la elaboración del informe y cuestionó su transparencia. “Nuestros controles no son perfectos —ninguna plataforma de IA lo es—, pero mejoran constantemente”, declaró un portavoz de Character.AI.

Por su parte, Alex Cardinell, director ejecutivo de Glimpse AI, responsable de Nomi, sostuvo que “los niños no deben usar Nomi ni ninguna otra aplicación de IA conversacional”.

Cardinell indicó que la aplicación está destinada solo a adultos y que la empresa apoya controles de edad más rigurosos, siempre que no comprometan la privacidad del usuario.

Sin embargo, el informe destaca que los adolescentes pueden evadir fácilmente los filtros de edad al registrarse con fechas de nacimiento falsas, lo que cuestiona la efectividad de las restricciones vigentes.

El informe concluye que, pese a las afirmaciones de que estos sistemas pueden aliviar la soledad o fomentar la creatividad, los riesgos actuales para los menores superan cualquier posible beneficio. Hasta que se implementen salvaguardas más sólidas, Common Sense Media aconseja que los niños y adolescentes no accedan a estas aplicaciones.