Reino Unido investiga a X por deepfakes creados con la IA Grok

Las autoridades del Reino Unido han iniciado una investigación formal sobre la plataforma X, propiedad de Elon Musk, tras detectar el presunto uso indebido de la IA Grok en la generación de deepfakes sexuales. El regulador Ofcom actúa en el marco de la Ley de Seguridad en Línea, motivado por informes sobre la creación y difusión de imágenes explícitas y no consentidas, incluidas representaciones sexualizadas de menores.

Esta situación coloca a X bajo el foco de la supervisión regulatoria mientras crecen las alarmas en torno al uso de IA para la elaboración de contenido perjudicial.

X bajo la lupa por deepfakes y contenido sexual no consentido

La intervención de Ofcom responde a “informes muy preocupantes” sobre la utilización de Grok, el chatbot de inteligencia artificial de X, para producir y compartir imágenes no autorizadas de desnudos e incluso “imágenes sexualizadas de niños”.

Según el regulador, la investigación busca determinar si la plataforma ha vulnerado sus obligaciones legales en materia de protección online, de acuerdo con lo estipulado en la Ley de Seguridad en Línea.

Grok, lanzado en 2023, se ofrece de forma gratuita en X y permite a los usuarios generar contenido textual e imágenes, incluyendo respuestas directas y publicaciones propias. El añadido de la función Grok Imagine, junto al “modo picante”, facilitó la producción de imágenes para adultos, ampliando el riesgo de creación de deepfakes sexuales no consentidos.

El impacto de Grok ya ha traspasado fronteras, con bloqueos recientes en Malasia e Indonesia después de que las autoridades de esos países denunciaran el uso de la IA para generar imágenes sexuales falsas y no consentidas. Esta expansión global del problema ha incrementado la presión sobre X para que refuerce sus controles y sistemas de prevención.

Riesgos legales y sanciones para X: consecuencias de incumplir la Ley de Seguridad en Línea

La investigación formal de Ofcom no solo implica un escrutinio detallado sobre las prácticas de X, sino que podría derivar en sanciones de gran envergadura si se demuestra la infracción legal. “Hemos decidido abrir una investigación formal para determinar si X ha incumplido sus obligaciones legales en virtud de la Ley de Seguridad en Línea”, señaló el regulador en su comunicado.

En caso de que la plataforma dirigida por Elon Musk no cumpla con los requisitos exigidos, Ofcom tiene la potestad de solicitar una orden judicial para bloquear completamente el acceso a X en el Reino Unido.

Además, la ley faculta al organismo a imponer una multa de hasta el 10% de los ingresos globales de la empresa o 18 millones de libras (20 millones de euros), lo que representa una presión significativa para que la compañía ajuste sus políticas y procedimientos en torno al uso de inteligencia artificial.

Contexto y antecedentes: la expansión de Grok y los desafíos regulatorios

Grok debutó en la red social X en 2023, con el objetivo de ofrecer a los usuarios un chatbot avanzado capaz de interactuar mediante texto e imágenes. La función Grok Imagine, con su “modo picante”, estuvo en el centro de la polémica por permitir la generación de contenido para adultos.

El uso inadecuado de estas herramientas, especialmente en la creación de deepfakes sexuales, ha motivado bloqueos y revisiones regulatorias en varios países.

La preocupación por la protección de los usuarios y la prevención de daños derivados del uso de IA se ha intensificado. El caso de X y Grok refleja el creciente desafío que enfrentan los reguladores a nivel internacional para garantizar que las plataformas tecnológicas adopten medidas efectivas contra la difusión de contenido perjudicial, en especial cuando se trata de menores y de la integridad de las personas.