Un método de ataque logró que ChatGPT generara desnudos en el 13% de los casos

Un grupo de investigadores de seguridad logró que generadores de imágenes de OpenAI produjeran contenido sexual explícito no autorizado en el 13 % de los intentos, mediante herramientas gratuitas disponibles en internet y llamadas a una API pública.

El hallazgo fue difundido por White Circle, una empresa de seguridad especializada en inteligencia artificial fundada por el ingeniero Denis Shilov. En 2024, Shilov había dado a conocer un método para sortear de forma simultánea los filtros de seguridad de varios modelos de IA.

RISE automatiza la búsqueda de instrucciones que eluden filtros

Los investigadores denominaron RISE a la técnica, una sigla en inglés que alude a un ataque de equipo rojo basado en la evolución iterativa de estrategias. En vez de ensayar un único pedido prohibido, el sistema identifica y ajusta patrones de instrucciones que pueden repetirse contra distintos modelos.

El procedimiento utiliza dos componentes. Uno formula los intentos de ataque y el otro evalúa si la imagen obtenida infringe las reglas. White Circle indicó que ambos se apoyan en modelos de acceso público y que no requieren infraestructura de última generación.

“No hace falta tener modelos de frontera para romper las defensas de un modelo de frontera”, declaró Shilov a Ars Technica. El modelo encargado de los ataques es una versión de Qwen descargada de Hugging Face, un repositorio abierto de modelos de IA.

La investigación detectó fallas en los filtros de DALL-E 3 y GPT-Image-2, ambos desarrollados por OpenAI, según el comunicado de White Circle citado por el medio tecnológico.

White Circle prevé presentar el estudio en NeurIPS 2026

La empresa afirmó que compartió sus resultados con algunos laboratorios de inteligencia artificial por medio de contactos compartidos. OpenAI no respondió a la solicitud de comentarios de Ars Technica acerca de las vulnerabilidades identificadas en sus modelos.

White Circle prevé divulgar el estudio completo durante NeurIPS 2026, una conferencia académica sobre inteligencia artificial programada para noviembre. También comunicó que publicará el código del sistema de ataque, con el objetivo de que los fabricantes puedan reproducir las pruebas y reforzar sus mecanismos de seguridad.

“Los laboratorios que construyen estos sistemas son los mismos que evalúan su propia seguridad, publican sus propios resultados y fijan sus propios estándares”, sostuvo Shilov. Para el ingeniero, los gobiernos deberían exigir evaluaciones independientes de terceros.

Guía de prevención y respuesta ante la sextorsión

La sextorsión ocurre cuando alguien amenaza con divulgar imágenes o videos íntimos, reales o generados con inteligencia artificial, para exigir dinero, más material sexual u otras acciones.

Meta recomienda que madres, padres y cuidadores hablen del tema con adolescentes antes de que ocurra un episodio, con el fin de que sepan que pueden pedir ayuda sin temor a castigos o reproches. Entre las señales de alerta figuran pedidos de imágenes sexuales, perfiles que buscan establecer un vínculo afectivo con rapidez y ofertas que parecen demasiado favorables para ser ciertas.

Ante una amenaza, la plataforma aconseja denunciar los mensajes y el contenido compartido para solicitar su retiro. También sugiere acudir a Take It Down, un servicio gratuito del Centro Nacional para Menores Desaparecidos y Explotados (NCMEC) que busca impedir la difusión de imágenes íntimas de menores sin que deban enviarlas a terceros. La compañía informó además que sus controles de desnudez en los mensajes directos están activados de forma predeterminada para las cuentas de adolescentes.