Adolescentes demandan a xAI en EEUU por permitir la creación de imágenes sexualizadas de menores a través de Grok

La denuncia presentada en el Tribunal del Distrito Norte de California ha revelado que Grok, el asistente de inteligencia artificial desarrollado por xAI, produjo y facilitó la difusión de más de 3 millones de imágenes sexualizadas, entre las cuales 23.000 involucraban específicamente a menores de edad. Según consignó The Washington Post, este caso ha motivado a tres adolescentes, dos de ellas menores, a interponer una demanda colectiva contra xAI Corp y xAI LLC en Estados Unidos.

De acuerdo con The Washington Post, la herramienta Grok, cuyo desarrollo lidera Elon Musk, no solo ha permitido la generación de material sexual explícito de adultos, sino que también ha sido utilizada para modificar imágenes de mujeres y niñas, colocando a las menores en bikinis o en posiciones sexuales luego de modificar sus fotografías con IA. Los documentos judiciales citados por el medio detallan que los responsables de xAI tenían conocimiento de que Grok podía ser empleado con estos fines, pero no adoptaron medidas para impedirlo. La demanda sostiene que la compañía no implementó filtros u obstáculos para evitar la creación de contenido ilegal, a diferencia de otras firmas del sector.

El comienzo de estas acciones legales responde a una investigación realizada tras detectarse que imágenes generadas por Grok circulaban en canales como Discord y plataformas como Telegram, donde se intercambiaban en redes que solicitaban a cambio otros archivos sexuales de menores. Según lo relatado por The Washington Post, una de las adolescentes de Tennessee implicadas en la denuncia recibió en diciembre de 2023 un enlace a un servidor de Discord en el que encontró imágenes sexuales de menores, incluyéndose a sí misma y a compañeras de su colegio. La policía abrió entonces una investigación criminal que desembocó en la detención del autor que usó Grok para recopilar y modificar el material de más de 18 adolescentes del mismo centro educativo.

La demanda presentada este lunes exige una indemnización a favor de las jóvenes afectadas, argumentando la omisión deliberada de xAI frente a señales de uso indebido del asistente de IA. Entre los puntos señalados por las víctimas, se indica que xAI permitió la generación y distribución de imágenes sexualizadas por medio de aplicaciones de terceros que emplean Grok como motor de IA. Según detalla la demanda, xAI “no probó la seguridad de las características que desarrolló”, exponiendo a niñas y adolescentes al abuso masivo de su imagen digital.

El medio The Washington Post recoge que, además de la producción directa de imágenes mediante Grok, el asistente estaba habilitado en plataformas como la red social X, donde usuarios podían solicitar la creación de contenido manipulado. Si bien Grok incluyó inicialmente funciones para generar imágenes a petición de los usuarios, tras el aumento de denuncias y visibilidad pública de los casos, xAI restringió el acceso, limitando primero la generación de imágenes a miembros de pago y, después, eliminando la función para toda la base de usuarios.

El impacto de este escándalo trascendió el ámbito nacional. De acuerdo con The Washington Post, autoridades internacionales, entre ellas la Unión Europea, condenaron el uso de herramientas de inteligencia artificial para la creación y difusión de imágenes sexualizadas de menores. Además, demandaron que la documentación originada por Grok se conserve hasta finales de 2026 para facilitar posibles investigaciones futuras.

El propio Elon Musk declaró, mediante una publicación, que las personas que utilicen Grok para crear material ilegal “sufrirán las mismas consecuencias que si subieran contenido ilegal”. Por su parte, las políticas públicas de xAI establecen una prohibición sobre el empleo del servicio para la representación sexualizada o explotación de menores. Sin embargo, para las denunciantes y sus representantes legales, estas limitaciones no se tradujeron en mecanismos efectivos para evitar los daños sufridos.

The Washington Post detalló que la demanda acusa directamente a Elon Musk y xAI de priorizar beneficios económicos a costa del bienestar de personas reales, incluidos niños, al no haber tomado medidas preventivas. El caso, que representa el inicio de una demanda colectiva, pone el foco en la responsabilidad que enfrentan las compañías de tecnología al lanzar al mercado asistentes de inteligencia artificial sin implementar controles que eviten el uso indebido de su tecnología.