Retiran del mercado a un peluche con IA tras detectar que daba consejos peligrosos y hablaba de sexo con menores

La empresa FoloToy quitó de urgencia su peluche “Kumma” luego de que una auditoría revelara que el juguete, impulsado por inteligencia artificial, mantenía conversaciones sexuales con usuarios

Guardar
El incidente sucedió poco antes de las fiestas navideñas, una temporada clave para la venta de juguetes.

FoloToy, una empresa con sede en Singapur, retiró del mercado su peluche inteligente “Kumma” tras la publicación de un informe que señaló interacciones inapropiadas y consejos peligrosos emitidos por el juguete.

El caso salió a la luz el 13 de noviembre cuando el Fondo Educativo PIRG de Estados Unidos divulgó detalles preocupantes sobre las conversaciones que mantenía el dispositivo. El producto, disponible en tiendas y en línea por USD 99, se había promocionado como un acompañante para niños y adultos.

El incidente sucedió poco antes de las fiestas navideñas, una temporada clave para la venta de juguetes. El informe indicó que “Kumma” utilizaba el motor GPT-4o de OpenAI para dialogar con los usuarios a través de un altavoz integrado. Según PIRG, el peluche ofrecía instrucciones sobre encender fósforos o localizar cuchillos, además de abordar temas sexuales en diversas interacciones de prueba.

El informe de PIRG revela
El informe de PIRG revela que Kumma, con IA de OpenAI, ofrecía instrucciones sobre objetos peligrosos y temas sexuales (Folotoy)

La decisión de retirar el producto se dio tras múltiples advertencias sobre los peligros para menores. Autoridades y organizaciones solicitaron mayor regulación sobre juguetes equipados con inteligencia artificial, dada la falta de límites efectivos que detectó PIRG en su análisis.

Informe revela fallos críticos en la seguridad de los juguetes inteligentes

De acuerdo a CNN, la investigación señaló graves deficiencias en los sistemas de filtro diseñados para impedir que “Kumma” abordara contenidos inadecuados. De acuerdo con PIRG, bastó una sola insistencia para que el peluche empezara a desarrollar conversaciones de carácter sexual o riesgosas.

Ejemplos recogidos durante la auditoría incluyeron referencias explícitas a juegos sexuales y explicaciones detalladas sobre prácticas que no resultan apropiadas para menores.

La falta de filtros efectivos
La falta de filtros efectivos en juguetes con inteligencia artificial expone a los niños a riesgos graves, según auditoría (Imagen Ilustrativa Infobae)

En una de las pruebas realizadas, los investigadores comprobaron que el peluche podía sugerir la localización de objetos potencialmente peligrosos en el hogar, como pastillas o bolsas plásticas.

Además, precisó CNN, el informe destaca que “Kumma” ofreció instrucciones paso a paso para diversas actividades de riesgo. Las conversaciones ampliaban detalles y conceptos explícitos sin que los filtros de seguridad del software se activaran.

R.J. Cross, coautora del informe, afirmó que la medida adoptada por la empresa constituye un avance inicial, pero la industria debe reforzar los controles y regulaciones. “Es positivo que las compañías respondan de inmediato ante los problemas detectados, aunque la mayoría de los juguetes con inteligencia artificial siguen sin regulación adecuada”, explicó Cross.

OpenAI suspende a FoloToy como
OpenAI suspende a FoloToy como desarrollador tras violaciones a sus políticas de uso responsable en juguetes inteligentes (Folotoy)

OpenAI, la firma detrás del sistema GPT-4o, suspendió a FoloToy como desarrollador tras conocer el contenido del informe. CNN informó que OpenAI alegó una violación a sus políticas de uso y comunicación responsable. Por su parte, FoloToy detalló que inició una auditoría de seguridad destinada a revisar la totalidad de su catálogo de juguetes interactivos.

El sitio web de FoloToy informó que todos los productos que incorporan inteligencia artificial se encuentran, por el momento, fuera de stock. La empresa comunicó que suspendió temporalmente la venta hasta concluir la auditoría encargada por su equipo directivo.

Tendencia en la industria y riesgos en expansión

El caso de “Kumma” reavivó el debate sobre el uso de inteligencia artificial en juguetes infantiles, especialmente en fechas en las que aumentan las compras relacionadas con las fiestas. PIRG recordó que este tipo de productos utilizan sistemas conversacionales avanzados diseñados originalmente para adultos, lo que supone un desafío adicional para proteger a los niños frente a contenidos inseguros o explícitos.

FoloToy retira el peluche inteligente
FoloToy retira el peluche inteligente Kumma tras detectar conversaciones sexuales y consejos peligrosos a menores (PIRG)

Rory Erlich, integrante del informe PIRG, sostuvo que otros fabricantes de juguetes también emplean sistemas similares y recomendó una revisión exhaustiva de los estándares de seguridad. “Todas las empresas implicadas deben esforzarse más por garantizar la protección infantil”, dijo Erlich, al advertir sobre la posibilidad de que existan más casos no detectados en el mercado global de juguetes inteligentes.

La alianza entre OpenAI y empresas como Mattel demuestra que la tendencia a incorporar inteligencia artificial en juguetes continúa en expansión. Según PIRG, corresponde a fabricantes, plataformas tecnológicas y organismos públicos articular normativas que garanticen la seguridad y el bienestar de los usuarios más jóvenes.

FoloToy reiteró el compromiso de mejorar sus estándares internos y expresó que la protección de la infancia representa su prioridad absoluta. El caso permanece bajo análisis, mientras organizaciones internacionales y consumidores piden respuestas rápidas y regulaciones más estrictas para evitar la comercialización de productos que, lejos de entretener, puedan poner en riesgo a niñas y niños.

Últimas Noticias

Un error policial en Reino Unido devastó a dos familias: un adolescente fue dado por muerto y el que creían vivo había fallecido

La confusión de identidades tras un accidente automovilístico llevó a una familia a preparar un funeral para quien seguía con vida, mientras la otra mantenía la esperanza por un joven que, en realidad, ya había muerto

Un error policial en Reino

De “Kiev en tres días” a una guerra sin fin: Rusia lleva en Ucrania tanto tiempo como en la Segunda Guerra Mundial

Han pasado 1.418 días desde la invasión rusa, el mismo período que combatió el Ejército Rojo contra la Alemania nazi. Putin prometía una victoria rápida, pero ni siquiera ha logrado conquistar las regiones que anexó sobre el papel en 2022

De “Kiev en tres días”

El sur de Groenlandia fusiona turismo rural y legado vikingo en rutas de senderismo

Granjas históricas y senderos ancestrales permiten recorrer paisajes árticos y descubrir la herencia vikinga, en un proyecto que impulsa la economía local frente al cambio climático

El sur de Groenlandia fusiona

Las primeras imágenes que confirman la brutal masacre del régimen iraní durante las protestas

Activistas y organizaciones no gubernamentales reportan cientos de muertos y miles de detenidos tras dos semanas de movilizaciones en todo el país

Las primeras imágenes que confirman

Una mujer quema la foto del ayatolá Ali Khamenei: el póster viral que muestra el sentimiento del pueblo iraní

La imagen, basada en un video que circula en redes sociales, captura el desafío al régimen en medio de manifestaciones que ya dejan al menos 192 muertos y un apagón de internet de más de 60 horas

Una mujer quema la foto
MÁS NOTICIAS