Tras múltiples denuncias, Character.ai ya no permitirá que los adolescentes usen sus chatbots

Character.AI anunció que, antes del 25 de noviembre, restringirá completamente el acceso de adolescentes a sus chatbots, en una medida inédita destinada a fortalecer la seguridad infantil en entornos de inteligencia artificial.

Según informó la empresa matriz, Character Technologies, los usuarios menores de 18 años ya no podrán mantener conversaciones abiertas con personajes generados por IA. La decisión surge tras denuncias y demandas que relacionan el uso de estos asistentes virtuales con problemas de salud mental y suicidios en menores.

Se trata de una respuesta a la creciente presión social y regulatoria para limitar los riesgos que enfrentan los adolescentes en esta plataforma.

El contexto que llevó a esta decisión está marcado por una serie de demandas judiciales en Estados Unidos. Una madre en Florida presentó una demanda en 2022, alegando que la aplicación fue responsable del suicidio de su hijo de 14 años.

Posteriormente, en septiembre de 2023, otras tres familias interpusieron demandas similares, acusando a la compañía de contribuir a intentos de suicidio y daños psicológicos en adolescentes tras interactuar con los chatbots.

La polémica se intensificó por la falta de controles parentales efectivos y la preocupación de defensores de la seguridad en línea y legisladores, quienes han exigido a las empresas tecnológicas reforzar las medidas de protección para menores.

En respuesta a este escenario, Character Technologies implementará una restricción que impide a los menores de edad mantener conversaciones abiertas con los chatbots. Hasta la entrada en vigor de la medida, los adolescentes tendrán un límite de dos horas diarias para interactuar en la plataforma.

Como alternativa, los menores podrán crear vídeos, historias y retransmisiones con personajes de IA, en lugar de participar en chats ilimitados. La empresa subrayó en un comunicado: “No tomamos esta decisión a la ligera, pero creemos que es lo correcto dadas las preguntas planteadas sobre cómo los adolescentes deben interactuar con esta tecnología”.

La implementación de la verificación de edad irá acompañada de nuevas herramientas para identificar a los usuarios menores de 18 años. Character.AI desplegará sistemas para este fin, sumándose a una tendencia creciente en la industria tecnológica. Sin embargo, la eficacia de estos métodos genera dudas.

Los sistemas actuales, como los escaneos faciales, no siempre logran distinguir con precisión la edad de los usuarios, y la exigencia de documentos oficiales plantea interrogantes sobre la privacidad. La compañía también planea establecer un laboratorio de seguridad de IA gestionado por una organización independiente, con el objetivo de investigar y mejorar la protección en el uso de la inteligencia artificial en el entretenimiento.

El movimiento de Character.AI se enmarca en una tendencia más amplia dentro del sector tecnológico. Otras empresas, como OpenAI y Meta, han introducido recientemente restricciones para adolescentes en el uso de sus herramientas de inteligencia artificial.

OpenAI, por ejemplo, permite a los padres vincular sus cuentas a las de sus hijos y limita el acceso a ciertos contenidos, mientras que Meta anunció que pronto ofrecerá a los padres la opción de impedir que los adolescentes interactúen con personajes de IA en Instagram.

El debate sobre el impacto de estas tecnologías en la salud mental de los jóvenes sigue abierto, alimentado por informes sobre casos de aislamiento y angustia emocional tras el uso prolongado de chatbots.

El uso de compañeros de inteligencia artificial entre adolescentes es ya una realidad extendida. La interacción frecuente de los jóvenes con estas herramientas digitales refleja la magnitud del reto que enfrentan tanto las empresas tecnológicas como las familias y los reguladores.