ChatGPT suspenderá por 24 horas a quien busque material de abuso sexual infantil

OpenAI también liberó un detector de imágenes, gratuito para organizaciones aprobadas

OpenAI indicó que las infracciones reiteradas pueden derivar en suspensiones más largas.

REUTERS/Dado Ruvic
OpenAI indicó que las infracciones reiteradas pueden derivar en suspensiones más largas. REUTERS/Dado Ruvic
Guardar

OpenAI anunció que ChatGPT mostrará una advertencia a quien intente encontrar material de abuso sexual infantil, borrará la conversación y pausará el acceso a la cuenta durante 24 horas. La empresa también lanzó una herramienta que detecta imágenes de ese tipo, incluidas las generadas con IA.

Según el anuncio de la empresa, la advertencia explica que sexualizar a menores causa daño, también cuando el material pedido es artificial. Además del aviso, ChatGPT ofrece apoyo especializado para ayudar a la persona a dejar esa conducta.

PUBLICIDAD

Las sanciones aumentan si el comportamiento se repite. OpenAI indicó que las infracciones reiteradas pueden derivar en suspensiones más largas, en el cierre definitivo de la cuenta o en un reporte a las autoridades.

Según el anuncio de la empresa, la advertencia explica que sexualizar a menores causa daño. 

 REUTERS/Dado Ruvic
Según el anuncio de la empresa, la advertencia explica que sexualizar a menores causa daño. REUTERS/Dado Ruvic

La página de ayuda de la compañía precisa el alcance. Las intervenciones rigen en los modos de chat y de trabajo, en la web y en el móvil, para cuentas personales. También puede verlas quien usa ChatGPT sin iniciar sesión.

Qué cuentas y funciones quedan fuera

Por ahora la medida no se aplica a los espacios de ChatGPT Business, Enterprise, Edu ni Healthcare. Tampoco funciona en el modo de voz, en Codex ni en las aplicaciones de escritorio, según la misma página. La empresa agrega que el aviso puede variar según el país.

PUBLICIDAD

Cuando se activa la intervención, la conversación se detiene y no puede continuar. Si el usuario había iniciado sesión, el chat se oculta del historial y no puede reabrirse.

El segundo anuncio de OpenAI es un clasificador de imágenes, un programa que analiza archivos y asigna una puntuación según la probabilidad de que muestren abuso. 

 REUTERS/Dado Ruvic
El segundo anuncio de OpenAI es un clasificador de imágenes, un programa que analiza archivos y asigna una puntuación según la probabilidad de que muestren abuso. REUTERS/Dado Ruvic

OpenAI dijo que diseñó el enfoque con organizaciones y asesores académicos que investigan la prevención del abuso sexual infantil, entre ellos Protect Children y la Lucy Faithfull Foundation. Joel Scanlan, de la Universidad de Tasmania, evaluó de forma independiente una prueba de mensajes disuasorios.

Frances Frost, directora de Promoción y Comunicaciones de la Lucy Faithfull Foundation, afirmó que su línea de ayuda Stop It Now ya recibe con frecuencia llamadas de personas a quienes un chatbot de IA las derivó a ese servicio.

Un detector que marca menos imágenes y acierta más

El segundo anuncio es un clasificador de imágenes, un programa que analiza archivos y asigna una puntuación según la probabilidad de que muestren abuso. Está pensado para detectar imágenes nuevas, que no figuran en bases de datos de material ya conocido. OpenAI afirma que es el primero de amplia disponibilidad con una señal específica para indicar si el material pudo ser generado con IA.

Lo entrenó y evaluó con ayuda del Centro Nacional para Menores Desaparecidos y Explotados de Estados Unidos (NCMEC), organización que opera la línea de denuncias CyberTipline. El acceso es gratuito, por la API de OpenAI, para organizaciones verificadas que lo soliciten.

Además del aviso, ChatGPT ofrece apoyo especializado para ayudar a la persona a dejar esa conducta. Europa Press
Además del aviso, ChatGPT ofrece apoyo especializado para ayudar a la persona a dejar esa conducta. Europa Press

En una prueba con imágenes subidas por usuarios, OpenAI estimó que el nuevo sistema señalaría 48% menos imágenes que su herramienta actual y encontraría aproximadamente la misma cantidad de abusos. Las imágenes marcadas tenían el doble de probabilidades de contener abuso.

Entre los primeros socios, fal informó que sus revisores confirmaron como material nuevo el 72% de las alertas de alta confianza. SafetyKit indicó que detectó el 90% de los casos de dibujos o animaciones que sexualizan a menores. Son resultados de pruebas de la empresa y de socios que ya usan la herramienta.

Guía para desarrolladores y apoyo a investigadores

OpenAI publicó además una guía para desarrolladores, elaborada con la Tech Coalition, Thorn, el NCMEC y la Internet Watch Foundation. También ofrecerá herramientas y capacitación a unidades policiales especializadas. La primera herramienta ayudará a revisar chats extensos y a armar cronologías, con acceso sujeto a la autorización de cada agencia.

OpenAI informó que la capacitación inicial será una presentación con una guía práctica, y que las siguientes se propondrán en conferencias regionales, nacionales e internacionales.

PUBLICIDAD

PUBLICIDAD