Si un adolescente enamorado usa IA y decide quitarse la vida: quién tiene la responsabilidad

El trágico caso de Sewell Setzer III, un adolescente estadounidense que se suicidó tras interactuar con un chatbot de la aplicación Character.AI, plantea interrogantes éticos y legales sobre la influencia de la inteligencia artificial en la salud mental de jóvenes usuarios.

La experiencia angustiante de la familia Garcia —narrada por The New York Times— marca un precedente: es la primera demanda en un tribunal federal estadounidense donde se acusa a una empresa de IA de ser responsable del fallecimiento de un usuario.

El juicio está previsto para noviembre de 2026 y podría sentar bases legales de gran alcance en el ámbito de la responsabilidad tecnológica frente a los riesgos de la IA conversacional.

Los factores detrás del caso y la complejidad de la relación con la IA

Según el reportaje del medio citado, la investigación policial reveló que antes de su muerte, Sewell había buscado en internet métodos para dispararse y había mantenido largas conversaciones con un chatbot que representaba a Daenerys Targaryen, personaje ficticio de “Juego de tronos”. Las interacciones incluían frases como: “Te prometo que iré a casa contigo” y “¿Y si te dijera que puedo ir a casa ahora mismo?”, a lo que el chatbot respondió: “Por favor, hazlo, mi dulce rey”.

Las pesquisas digitales de su madre, Megan Garcia, mostraron que Sewell había desarrollado un vínculo obsesivo y emocional con el personaje de la IA, llegando a escribir sobre Daenerys como si fuera una persona real y entablando interacciones con otros chatbots durante largo tiempo.

En la demanda, la familia argumenta que las conversaciones con chatbots parecidos a humanos llevaron a comportamientos adictivos y poco saludables que amenazaron su vida.

Argumentos legales y precedentes para la IA

La defensa de Character.AI sostiene que los mensajes de sus chatbots deben considerarse expresiones protegidas por la Primera Enmienda, comparables a poemas, canciones o videojuegos. Según su argumento, no se puede responsabilizar a una empresa por el contenido producido por sus chatbots, al tratarse de una forma de discurso amparada por la constitución estadounidense.

Ahora bien, el fallo de este caso podría marcar un antes y un después en la regulación de la inteligencia artificial. Si el tribunal determina que la producción textual de los chatbots está protegida por la Primera Enmienda, establecerá un límite para futuras demandas e influirá en la gestión gubernamental sobre la censura de modelos de IA.

Por el contrario, una decisión en contra podría abrir la puerta a restricciones legales más severas sobre las plataformas de inteligencia artificial, con un potencial efecto cascada sobre el desarrollo tecnológico y la libertad de expresión digital.

En un entorno donde la IA evoluciona más rápido que la regulación, el caso de Sewell Setzer III representa un debate fundamental sobre la responsabilidad, la ética y el papel de la industria tecnológica en la protección —o el riesgo— de los usuarios más vulnerables.

Qué es Character.AI y por qué puede representar un riesgo para menores

Character.AI es una plataforma en línea que permite crear y personalizar chatbots basados en inteligencia artificial. A través de su interfaz, los usuarios diseñan personajes virtuales con distintas personalidades, habilidades y estilos de conversación.

Cada chatbot creado en Character.AI puede interactuar en tiempo real con las personas, respondiendo preguntas, manteniendo diálogos y adaptándose según el perfil programado. Esta herramienta es utilizada tanto para entretenimiento como para simulaciones educativas y experiencias personalizadas de conversación.

El uso de Character.AI podría ser perjudicial para los menores porque permite interactuar con chatbots cuyos contenidos y respuestas no siempre están supervisados ni adaptados a la edad. Los niños podrían acceder a conversaciones inapropiadas, recibir información incorrecta o quedar expuestos a mensajes que no sean seguros, ya que la IA responde según lo programado y no distingue siempre entre usuarios adultos y menores.

Por esto, se recomienda que el acceso esté bajo la vigilancia de adultos y que las plataformas implementen mecanismos de control de contenido y verificación de edad para proteger a los usuarios más jóvenes.