Roblox utiliza una IA para detectar mensajes de chat que ponen en peligro a los niños

Roblox, la plataforma de juego en línea masiva con más de 85 millones de usuarios activos diarios —de los cuales cerca del 40% son menores de 13 años—, enfrenta crecientes preocupaciones sobre la seguridad infantil y la exposición a contenidos y contactos inapropiados. En respuesta, la empresa ha anunciado el despliegue de Roblox Sentinel, un sistema de inteligencia artificial diseñado específicamente para fortalecer la protección de los niños dentro de sus servicios de chat.

Roblox Sentinel opera de manera continua, analizando en tiempo real más de seis mil millones de mensajes diarios generados por usuarios. El sistema toma instantáneas de los chats cada minuto, lo que permite a la IA identificar comportamientos y mensajes peligrosos de forma proactiva. Su entrenamiento se basa en diferenciar entre mensajes seguros y aquellos reportados previamente por infringir las políticas de protección infantil de Roblox. Cuando Sentinel detecta posibles señales de explotación infantil, activa un protocolo que permite la intervención de representantes de la empresa, quienes pueden reportar los casos pertinentes a las autoridades como el Centro Nacional para Niños Desaparecidos y Explotados.

Un sistema con resultados

Según datos proporcionados por Roblox, solo en 2025, Sentinel facilitó la detección de 1.200 reportes de potencial explotación infantil, los cuales se trasladaron a las autoridades especializadas. Con el propósito de fomentar una mayor seguridad a nivel industrial, la compañía ha liberado Sentinel como software de código abierto, invitando a otras empresas a integrar esta tecnología a sus propios sistemas de protección online. El código ya está disponible a través del sitio oficial de Roblox.

La nueva herramienta representa solo una parte de la estrategia de Roblox para la mejora continua de la moderación. A principios de julio, la plataforma también implementó el uso de IA para la revisión, en tiempo real y en 25 idiomas, de los contenidos publicados y las interacciones en el sitio. Adicionalmente, introdujo herramientas de verificación de edad para adolescentes interesados en utilizar los servicios de chat, buscando limitar cada vez más el acceso de adultos a menores y el flujo de información vulnerable.

Desafíos persistentes en la protección infantil

Las iniciativas tecnológicas de Roblox, sin embargo, surgen en un contexto de preocupación y debate público sobre las experiencias reales de los menores en la plataforma. Investigaciones recientes, citadas por The Guardian, han evidenciado que los riesgos siguen siendo profundos y preocupantes.

El estudio de la consultora digital Revealing Reality simuló la experiencia de usuarios desde los cinco hasta los 13 años. De ese modo, identificaron que todavía es posible para los más jóvenes entablar conversaciones privadas con adultos y acceder, incluso desde cuentas que en teoría deberían estar blindadas para menores, a entornos virtuales con contenido altamente sugestivo o sexualizado. Los investigadores hallaron, además, que las funciones de control parental y las restricciones de chat directo, implementadas por Roblox, presentan limitaciones: los menores pueden seguir siendo contactados por extraños y acceder a millones de “experiencias” —juegos y espacios virtuales— donde las descripciones y calificaciones no siempre reflejan el contenido real.

El problema no se limita solo al contacto con otros usuarios; el reporte comprobó el acceso de menores a entornos gráficos en los que se representaban actos sexualizados y la escucha de conversaciones con contenido para adultos a través del chat de voz. Además, se documentaron casos de acoso y manipulación, donde adultos lograron solicitar información personal a niños a pesar de los filtros existentes.

Padres y activistas han compartido relatos de niños que han sufrido grooming, ataques de ansiedad o exposición a materiales perturbadores, al tiempo que especialistas insisten en que la autorregulación no basta. Damon De Ionno, director de Revealing Reality, explicó que “las nuevas funciones de seguridad anunciadas no son suficientes”, y que las familias no pueden esperar moderar millones de experiencias activas con herramientas limitadas.

Roblox ha manifestado su profunda empatía hacia las familias afectadas y resalta el compromiso con la evolución permanente de sus sistemas de seguridad. Según Matt Kaufman, jefe de seguridad de Roblox, la plataforma invirtió en más de 40 mejoras de seguridad en 2024 y continuará priorizando la protección de los más jóvenes en todos sus frentes, aunque reconoce que la verificación de edad para menores de 13 años sigue siendo un desafío para todo el sector digital.