Imágenes de abuso sexual infantil se están usando para entrenar generadores de imágenes por IA

Un informe del Stanford Internet Observatory ha revelado la presencia de miles de imágenes de abuso sexual infantil en el conocido conjunto de datos LAION-5B, empleado para entrenar generadores de imágenes de IA como Stable Diffusion de Stability AI.

Este descubrimiento sugiere que las herramientas de IA podrían generar contenidos dañinos y realza la preocupación sobre la seguridad de dichas tecnologías. La entidad LAION, que administra el conjunto de datos, ya ha respondido retirando temporalmente los conjuntos de datos involucrados para una revisión exhaustiva.

Los investigadores del observatorio, en colaboración con el Centro Canadiense de Protección Infantil, inspeccionaron el índice de LAION, que cuenta con aproximadamente 5.8 mil millones de imágenes, y encontraron más de 3,200 imágenes sospechosas de contener abuso sexual infantil. Aproximadamente 1,000 de estas han sido verificadas externamente.

Esto apunta a una debilidad significativa en el proceso de desarrollo rápido y competitivo de proyectos de IA generativa, sin la atención meticulosa adecuada para garantizar la exclusión de este tipo de contenido dañino.

El problema se extiende a la transformación de fotografías de adolescentes en redes sociales en imágenes desnudas y la generación de representaciones explícitas de niños falsos.

Con el desafío de erradicar este contenido inapropiado, se han hecho llamados para que se eliminen o limpien los modelos de IA entrenados con los datos de LAION-5B y se tomen medidas más drásticas para evitar la distribución de versiones problemáticas de Stable Diffusion.

Además, entidades como Hugging Face y CivitAI están bajo el escrutinio para implementar mejores prácticas y controles de seguridad.

Stable Diffusion, creado por Stability AI, es una de las herramientas que ha utilizado LAION-5B en su entrenamiento, lo que ha causado preocupación sobre el potencial mal uso de sus modelos. La compañía ha indicado que solo alberga versiones filtradas de Stable Diffusion y que ha tomado medidas proactivas para mitigar el riesgo de mal uso.

En respuesta al informe, se destacan los esfuerzos por mejorar los filtros para detectar y eliminar contenido ilegal antes de su distribución. Sin embargo, se reconoce que podría haberse hecho un mejor trabajo si se hubiera consultado con expertos en seguridad infantil desde etapas tempranas del desarrollo de los modelos.

OpenAI, desarrollador de DALL-E y ChatGPT, ha declarado que no utiliza LAION y ha ajustado sus modelos para rechazar solicitudes que involucren contenidos sexuales con menores. Por su parte, Google decidió no hacer público su modelo Imagen basado en datos de LAION tras hallar contenido inapropiado, incluyendo imágenes pornográficas y estereotipos sociales dañinos.

El uso de imágenes de niños, incluso en contextos inocuos, sin el consentimiento de los familiares, es cuestionado en el informe de Stanford y las autoridades reguladoras de EE. UU. han instado al Congreso a crear una comisión que investigue el impacto de la IA en la explotación infantil y prohíba la creación de CSAM (Child Sexual Abuse Material) generado por IA

El descubrimiento de material de abuso infantil en bases de datos utilizadas para entrenar modelos de inteligencia artificial plantea serias preocupaciones sobre la ética y la seguridad en el desarrollo tecnológico.

Este informe subraya la necesidad urgente de establecer protocolos más estrictos y colaboración entre desarrolladores, expertos en seguridad infantil y autoridades para prevenir la proliferación de este contenido dañino y garantizar el uso responsable de la IA.

(Con información de The Associated Press)