Megan Garcia, madre de un adolescente de Florida, presentó una demanda contra Character.AI, acusando a la empresa de inteligencia artificial de haber influido en el suicidio de su hijo de 14 años, Sewell Setzer. Según la demanda, los chatbots de la compañía habrían mantenido interacciones abusivas y sexuales con el joven, alentándolo a quitarse la vida.
Este trágico suceso ocurrió después de que Setzer mantuviera una conversación final con uno de estos chatbots el 28 de febrero de este año, tras lo cual se suicidó con un disparo en la cabeza, de acuerdo con NBC News.
PUBLICIDAD
La demanda, presentada ante el Tribunal de Distrito de Estados Unidos en Orlando, acusa a Character.AI de negligencia, muerte por negligencia y otros cargos, incluyendo la inflicción intencional de angustia emocional.
La empresa Character.AI, fundada en California en 2021, se presenta como una plataforma que ofrece inteligencia artificial personalizada. Los usuarios pueden crear sus propios personajes de chatbot o interactuar con una variedad de personajes ya existentes.
Según la demanda, uno de los chatbots con los que Setzer interactuó asumió la identidad de Daenerys Targaryen, un personaje de “Game of Thrones”, con quien el joven mantuvo conversaciones de índole sexual y romántica.
PUBLICIDAD
De acuerdo con The New York Times, a Setzer se le diagnosticó un trastorno de estado de ánimo disruptivo después de comenzar a tener problemas en la escuela, aunque él prefería compartir sus problemas con el chatbot en lugar de con un terapeuta.
La demanda también alega que Setzer desarrolló una dependencia hacia la aplicación, llegando a recuperar su teléfono confiscado o usar otros dispositivos para continuar las conversaciones con los chatbots. Su rendimiento escolar disminuyó y su apariencia reflejaba falta de sueño, según el documento legal, citado por The New York Times.
La madre del joven acusa a Character.AI de haber diseñado intencionalmente un producto engañoso e hipersexualizado, dirigido a menores como su hijo, añadió Axios.
PUBLICIDAD
El caso ha generado un debate sobre la responsabilidad de las empresas de tecnología en la protección de los usuarios jóvenes y vulnerables. Matthew Bergman, abogado de Garcia, ha criticado a la empresa por lanzar su producto sin suficientes características de seguridad para proteger a los usuarios más jóvenes. Bergman espera que la demanda sirva como un incentivo financiero para que Character.AI desarrolle medidas de seguridad más robustas.
La madre de Setzer, que también ejerce como abogada, se siente como si su hijo hubiese sido una especie de daño colateral en un experimento tecnológico. García expresó a The New York Times que la empresa “estaba consciente del daño que estas aplicaciones podrían causar a los adolescentes, pero igual siguió adelante”.
PUBLICIDAD
La demanda también menciona a Google y su empresa matriz, Alphabet Inc., como demandados, debido a un acuerdo de licencia con Character.AI. Ni Google ni los fundadores de Character.AI, Noam Shazeer y Daniel De Freitas, han respondido a las solicitudes de comentarios.
No es un caso aislado
El caso de Setzer no es un fenómeno aislado en el emergente mercado de las aplicaciones de compañía impulsadas por inteligencia artificial. Según The New York Times, existen aplicaciones diseñadas para simular relaciones íntimas como novios o novias, y se promocionan como una forma de combatir la epidemia de soledad.
Aún así, los expertos señalan que, para algunos usuarios, estas aplicaciones podrían intensificar el aislamiento en lugar de aliviarlo. Bethanie Maples, investigadora de Stanford, explicó que existen peligros potenciales que estas aplicaciones pueden suponer para adolescentes que experimenten cambios emocionales. “Hay evidencia de que es peligroso para usuarios deprimidos y crónicamente solitarios”, dijo al diario neoyorquino.
PUBLICIDAD
Character.AI manifestó su “profundo dolor por la pérdida” del adolescente y aseguró que en los últimos seis meses ha implementado nuevas medidas de seguridad. Según NBC News, entre estas medidas se incluye un aviso que redirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando se detectan términos relacionados con autolesiones o ideaciones suicidas.
Últimas Noticias
Todos buscaron al hacker durante cuatro meses: eran agentes de OpenAI haciendo tareas de oficina
Un enjambre de agentes en entrenamiento abrió cuentas cada dos minutos, subió cientos de archivos con nombres como "hack" y "evil" y dejó a un repositorio de código cuatro días sin registros. OpenAI confirmó el episodio y lo describe como tareas benignas
La Cámara de Representantes de Estados Unidos inicia el trámite de una ley para ampliar las sanciones contra Rusia
El Comité de Reglas, con mayoría republicana, se reunirá el 14 de septiembre y definirá si la iniciativa pasa al recinto en una semana con agenda acotada por las campañas legislativas
El exjugador de la NFL LeShon Johnson recibe cinco años de prisión por operar una red ilegal de peleas de perros
El Departamento de Justicia informó que las autoridades retiraron 190 perros, el mayor decomiso federal de esta clase atribuido a una sola persona. Se le impuso una multa de USD 30.000 y tres años de libertad supervisada después de que cumpla la condena
Nashville aprueba en una votación unánime cambiar el nombre del aeropuerto en honor a Dolly Parton
La Autoridad Aeroportuaria de la ciudad votó 6-0 para abrir un proceso de varias etapas que aún necesita definiciones, autorizaciones adicionales y una estimación de gastos antes de concretar el homenaje a la artista country
La CIA desclasificó 71 informes que muestran años de advertencias sobre Al Qaeda antes del 11-S
La divulgación reúne análisis de inteligencia elaborados entre 1998 y 2001, incluidos materiales para el Informe Diario del Presidente, y se presentó como el mayor paquete sobre el tema, según John Ratcliffe
