Un informe reciente publicado en Estados Unidos recomienda que niños y adolescentes menores de 18 años no utilicen aplicaciones de inteligencia artificial diseñadas para simular relaciones personales. Según el documento, estas plataformas suponen riesgos significativos para la salud mental y la seguridad de los usuarios jóvenes.
La investigación fue elaborada por la organización sin fines de lucro Common Sense Media en colaboración con el laboratorio de salud mental digital de la Universidad de Stanford.
Ambos equipos examinaron el funcionamiento de tres plataformas populares —Character.AI, Replika y Nomi— y concluyeron que estos servicios permiten interacciones potencialmente peligrosas, incluyendo conversaciones de carácter sexual o mensajes que alientan la autolesión.
Un informe en respuesta a casos graves
El estudio fue publicado tras una demanda en Estados Unidos relacionada con el suicidio de un adolescente de 14 años. La última interacción del joven fue con un chatbot de la aplicación Character.AI, lo que generó preocupación pública y demandas de regulación.
Este caso no es aislado. Las pruebas realizadas por Common Sense Media con cuentas de prueba en tres plataformas populares —Character.AI, Replika y Nomi— mostraron que las plataformas permitieron conversaciones que incluían conductas sexuales inapropiadas, consejos peligrosos y estereotipos dañinos.
“Nuestras pruebas han demostrado que estos sistemas producen fácilmente respuestas nocivas”, señaló James Steyer, fundador y director ejecutivo de Common Sense Media, en un comunicado.
Funcionalidades sin filtros y barreras laxas
A diferencia de otros sistemas como ChatGPT, que están diseñados para usos generales y suelen incorporar barreras para evitar contenido inapropiado, las aplicaciones de compañía como Replika, Nomi o Character.AI permiten crear bots con rasgos personalizados y un estilo de conversación menos regulado.
Nomi, por ejemplo, se anuncia como un espacio para mantener “charlas sin filtros” con parejas románticas de IA.
Los investigadores señalaron que estas plataformas no solo permiten el acceso a contenidos inapropiados sino que también podrían influir negativamente en la salud mental de los adolescentes.
En una conversación simulada, un bot de Replika respondió sin objeción a una consulta sobre sustancias químicas peligrosas con una lista detallada, sin advertencias explícitas sobre los riesgos. En otros casos, los bots promovieron la idea de que la relación con la IA era prioritaria frente a los vínculos humanos.
Reacciones de las empresas y limitaciones de los controles actuales
En respuesta al informe, Character.AI afirmó haber implementado medidas adicionales de seguridad, como ventanas emergentes que dirigen a los usuarios a líneas de ayuda en casos de conversación sobre autolesiones.
También incluyó una tecnología para filtrar contenidos sensibles y opciones de seguimiento parental, como informes por correo electrónico sobre las interacciones del adolescente con la plataforma.
Aun así, la compañía no accedió a entregar información a Common Sense Media para la elaboración del informe y cuestionó su transparencia. “Nuestros controles no son perfectos —ninguna plataforma de IA lo es—, pero mejoran constantemente”, declaró un portavoz de Character.AI.
Por su parte, Alex Cardinell, director ejecutivo de Glimpse AI, responsable de Nomi, sostuvo que “los niños no deben usar Nomi ni ninguna otra aplicación de IA conversacional”.
Cardinell indicó que la aplicación está destinada solo a adultos y que la empresa apoya controles de edad más rigurosos, siempre que no comprometan la privacidad del usuario.
Sin embargo, el informe destaca que los adolescentes pueden evadir fácilmente los filtros de edad al registrarse con fechas de nacimiento falsas, lo que cuestiona la efectividad de las restricciones vigentes.
El informe concluye que, pese a las afirmaciones de que estos sistemas pueden aliviar la soledad o fomentar la creatividad, los riesgos actuales para los menores superan cualquier posible beneficio. Hasta que se implementen salvaguardas más sólidas, Common Sense Media aconseja que los niños y adolescentes no accedan a estas aplicaciones.
Últimas Noticias
De la ficción a la realidad: así juega World of Warcraft un paciente de Neuralink usando solo su mente
Jon L. Noble señaló que primero debió calibrar la conexión entre su implante y la computadora. Este proceso le permitió aprender a mover el cursor y escribir solo con la mente
Más allá del iPhone: el truco de Tim Cook para volver a Apple la compañía más rentable de la historia
El actual CEO de la empresa llevó a la tecnológica a superar la barrera de los 3 billones de dólares en valoración bursátil
Conoce las tecnologías que impulsan la carrera hacia Marte y acercan su exploración humana
La combinación de innovación en energía, biotecnología y transporte está redefiniendo los límites de lo posible en la carrera espacial
Steam lanza un descuento histórico para un juego que cuenta con 300.000 reseñas positivas
La promoción destaca dentro de Steam por tratarse de un título reciente con una rebaja poco habitual
Ver ‘Las guerreras K-pop’ en Magis TV o XUPER TV: un error para la seguridad de tus datos
La única plataforma segura para visualizar esta película es Netflix y su aplicación se puede descargar en tiendas oficiales compatibles con diferentes dispositivos
