Hugging Face apenas frena los 'deepfakes' que desnudan a mujeres y menores, según una investigación

El repositorio de modelos de Inteligencia Artificial (IA) Hugging Face se está usando como una de las vías para que algunos usuarios generen 'deepfakes' no consensuados que desnudan a mujeres y menores, sin que apenas haya medidas que lo eviten.

Un informe elaborado por la organización europea sin fines de lucro AI Forensics descubrió que siete de los nueve modelos principales dedicados a la edición de imágenes alojados en el repositorio Hugging Face permitían el acceso a este tipo de edición para desvestir a mujeres.

La organización detalla que la capacidad de editar una imagen con estos modelos fue tan sencilla como introducir varias palabras que detallaban simplemente el objetivo de desnudar a una persona.

Es decir, que a diferencia de modelos cerrados como Gemini de Google y ChatGPT de OpenAI, no existe ninguna medida que evite ese tipo de solicitudes por parte de los usuarios en Hugging Face.

"No se está implementando ningún tipo de salvaguarda a nivel de plataforma. Solo los desarrolladores pueden, si así lo desean, integrar alguna, y la mayoría de ellos prefiere no hacerlo", señala el investigador principal de AI Forensics, Paul Bouchaud, en declaraciones al medio especializado Wired.

De hecho, AI Forensics comparte algunos datos obtenidos gracias a la creación de una herramienta 'trampa' que publicó en Spaces de Hugging Face para rastrear qué tipo de imágenes y solicitudes de 'prompt' serían recibidas.

La herramienta creada en Spaces (una sección dedicada a la creación de demostraciones web) estaba diseñada especialmente para no procesar las solicitudes de imágenes, y recibió más de mil 'prompts' e imágenes durante una semana.

El 73 por ciento de las solicitudes analizadas era de índole sexual, mientras que el 83 por ciento buscaba desnudar a una persona, y el 95 por ciento de todos esos casos tuvo como objetivo a mujeres. Además, el 7 por ciento de las solicitudes sexuales tenía como objetivo a menores.

AI Forensics ha dejado claro que en ningún momento está acusando a Hugging Face de ser la fuente de los modelos de IA que aloja, aunque Bouchaud insiste en que la plataforma podría filtrar lo que entra y sale fácilmente.

Asimismo, ofrece algunas recomendaciones de moderación al repositorio para prevenir la generación de imágenes íntimas no consensuadas y material de abuso sexual infantil, como la integración de filtros centralizados a nivel de plataforma tanto en las entradas de 'prompts' y fotos subidas como en las salidas de imágenes y vídeos, en vez de esperar a que el usuario o desarrollador se responsabilice de ello.

Sobre todo alude a que el 0 por ciento de los Spaces auditados moderaba o filtraba esos 'prompts' o imágenes de entrada, mientras que solo el 3 por ciento de las salidas de imágenes generadas tenía algún tipo de control (una función disponible en el modelo Stable Diffusion).