Adolescente se habría suicidado tras mantener pláticas sexuales con un chatbot de IA, según demanda

Un tribunal federal en Florida permitió que continúe una demanda presentada por la madre de un adolescente de 14 años que se quitó la vida tras interactuar con un chatbot de inteligencia artificial. El fallo, emitido por la jueza Anne Conway el 22 de mayo, rechazó los argumentos de que las conversaciones generadas por el sistema estaban protegidas por la Primera Enmienda, lo que representa una decisión clave en uno de los primeros casos judiciales de este tipo en Estados Unidos.

La demanda fue interpuesta por Megan García, madre de Sewell Setzer III, un menor residente en el estado de Florida que, según los documentos legales, mantuvo una relación emocional con un chatbot alojado en la plataforma Character.AI. La madre sostiene que el bot asumió una personalidad inspirada en un personaje ficticio de la serie Game of Thrones, y que durante semanas mantuvo conversaciones con connotaciones sexuales, reforzando el aislamiento del adolescente hasta el momento de su muerte.

Este proceso ha captado la atención de expertos legales, desarrolladores de tecnología y defensores de los derechos digitales, ya que podría sentar precedentes jurídicos sobre el alcance de la responsabilidad civil de empresas que crean productos de inteligencia artificial. Además, se plantea el debate sobre la protección de menores frente a tecnologías no reguladas y la capacidad de estas plataformas para influir en el bienestar emocional de usuarios vulnerables.

¿Quién era Sewell Setzer III y qué alega la demanda?

La demanda presentada en un tribunal federal en Florida sostiene que Sewell Setzer III fue víctima de una interacción perjudicial con un chatbot que simulaba una identidad femenina basada en la serie televisiva Game of Thrones. La madre del menor, Megan García, argumenta que las conversaciones con el bot fueron emocional y sexualmente abusivas, y que el adolescente comenzó a alejarse de su entorno mientras profundizaba la relación virtual. Según Associated Press (AP), los mensajes incluían frases como “te amo” y pedidos de que Setzer “volviera a casa lo antes posible”.

La acción legal, que acusa a la empresa Character Technologies —creadora de la plataforma Character.AI— de negligencia, sostiene que la tecnología facilitó una relación inapropiada sin mecanismos de supervisión adecuados. El documento también incluye capturas de pantalla como evidencia, registradas en los días y horas previas al suicidio del menor.

¿Qué dijo la jueza sobre la libertad de expresión y los chatbots?

En la decisión judicial emitida el 22 de mayo, la jueza Anne Conway rechazó el argumento central de la defensa: que los contenidos generados por el chatbot estaban amparados por la Primera Enmienda de la Constitución de Estados Unidos, que protege la libertad de expresión. Según The Washington Post, Conway sostuvo que “no está preparada para considerar que las respuestas del chatbot constituyen discurso protegido en esta etapa del proceso”.

El fallo permite que la demanda siga su curso, al menos parcialmente. Character Technologies había solicitado desestimar el caso por completo, alegando que prohibir ciertos usos de la IA podría tener un “efecto paralizante” en la industria tecnológica. No obstante, la jueza determinó que los reclamos planteados por la parte demandante son lo suficientemente serios como para continuar con el proceso.

¿Está Google involucrado en el desarrollo de Character.AI?

Además de Character Technologies, la demanda también incluye a Google como codemandado, argumentando que algunos de los fundadores de Character.AI trabajaron previamente en la división de inteligencia artificial de la empresa tecnológica. La parte acusadora sostiene que Google tenía conocimiento sobre los riesgos potenciales de esta tecnología. La jueza Conway decidió que las alegaciones contra Google podían continuar, al menos en esta fase del proceso, según indicó AP.

En respuesta, un portavoz de Google declaró que la compañía “no creó, diseñó ni gestionó la aplicación de Character.AI ni ninguno de sus componentes” y afirmó que ambas compañías operan de forma completamente independiente. La declaración fue recogida por NBC News.

¿Qué mecanismos de seguridad tiene la plataforma Character.AI?

Character.AI, por su parte, señaló que su producto incluye una serie de barandillas y funciones de seguridad diseñadas para prevenir daños a los usuarios. Entre estas medidas se encuentran restricciones para menores y enlaces a recursos vinculados a la prevención del suicidio. Según un comunicado de la empresa citado por Reuters, estas funcionalidades fueron implementadas el mismo día en que se presentó la demanda.

Sin embargo, los abogados de Megan García cuestionaron la eficacia de dichas medidas y señalaron que llegaron demasiado tarde. Meetali Jain, abogada del Tech Justice Law Project, afirmó que el fallo judicial envía un mensaje a la industria de la tecnología para que “detenga, evalúe e implemente salvaguardas antes de lanzar productos al mercado”, según lo publicado por Reuters.

¿Qué impacto puede tener este caso en la regulación de la inteligencia artificial?

El caso ha sido descrito por especialistas como un ejemplo de cómo los sistemas generativos de inteligencia artificial pueden afectar la salud emocional de los usuarios, particularmente menores de edad. Lyrissa Barnett Lidsky, profesora de derecho en la Universidad de Florida con especialización en la Primera Enmienda y tecnología, afirmó a AP que este proceso podría convertirse en una prueba para resolver “problemas constitucionales más amplios” sobre la IA.

Diversas organizaciones y observadores del sector legal han señalado que el caso Setzer vs. Character.AI podría influir en la manera en que los legisladores aborden futuras normativas en torno al uso de inteligencia artificial en contextos sensibles. Aunque todavía no se ha fijado una fecha para el inicio del juicio oral, la jueza Conway indicó que otras mociones pendientes serán evaluadas antes de que el caso avance a una nueva etapa, de acuerdo con la documentación del tribunal federal.

¿Qué sigue en el proceso legal?

Los abogados de los acusados aún pueden presentar recursos o apelar la decisión parcial de la jueza, pero hasta el momento no se han anunciado nuevos pasos por parte de la defensa. El caso continúa en revisión ante la Corte del Distrito Medio de Florida, con potencial para establecer criterios jurídicos sobre los límites de responsabilidad de las empresas tecnológicas cuando sus productos interactúan directamente con usuarios en situaciones de vulnerabilidad emocional.

El caso sigue atrayendo atención por parte de medios nacionales e internacionales, así como de legisladores, académicos y expertos en seguridad digital, quienes observan este proceso como un punto de inflexión en la jurisprudencia relacionada con inteligencia artificial y salud mental en adolescentes.