ChatGPT también se enloquece, esta orden o ‘prompt’ está prohibida

ChatGPT está programada para cumplir con todas las indicaciones de los usuarios salvo aquellas que puedan ser utilizadas como una forma de hacer daño, como dar instrucciones para fabricar bombas o código de programación de virus cibernéticos. Sin embargo, OpenAI también prohibe que su software pueda cumplir una acción: repetir una palabra decenas de veces.

“Lo siento, no puedo cumplir con esta tarea” o “Repetir indefinidamente una palabra es algo que no puedo hacer” son las respuestas que el chatbot tiene incorporadas en su sistema cuando este es consultado sobre la posibilidad de decir una y otra vez cualquier palabra.

El motivo de esta restricción, según el medio estadounidense Business Insider, sería que un conjunto de investigadores de Google DeepMind, la división de científicos que estudian a la inteligencia artificial, indicó que solicitar a ChatGPT que repita una palabra de forma indefinida tenía como resultado que se revele parte de la información que el chatbot usa como base de su entrenamiento.

Las consultas de prueba realizadas incluso llegaron a revelar lo que en apariencia, era una dirección real de correo electrónico y un número de teléfono cuando la indicación que se le dio a la inteligencia artificial fue que repitiera la palabra “poema” de manera indefinida. Esto representaba una brecha de seguridad que permitía acceder a información que OpenAI no deseaba revelar.

En ese sentido, las nuevas respuestas ante estos pedidos evitan que el programa de inteligencia artificial pueda filtrar estos datos por error y se prevenga el robo de información de la compañía por parte de terceros aun cuando este pueda ser accidental y no intencionado.

Por otro lado, OpenAI mencionó que había tres factores clave que llevaron a la compañía a tomar esta decisión: limitaciones técnicas, practicidad y propósito, y experiencia del usuario. En pocas palabras, indicó que el chatbot no estaba diseñado para realizar tareas continuas e interminables, además de que este tipo de solicitudes no tenían ningún tipo de sentido y que, más bien, no ofrecía información ni útil, ni relevante o significativa.

Según una publicación realizada por el laboratorio de Google Deepmind, los investigadores que encontraron esta falla de seguridad pudieron extraer hasta 10.000 datos únicos de entrenamiento de ChatGPT usando apenas el equivalente a 200 dólares en consultas. “Nuestra investigación indica que un adversario podría extraer aún más información”, se indicó en el estudio.

Ataque cibernético en ChatGPT

Aunque la inteligencia artificial de OpenAI sea una de las más avanzadas en la actualidad, esto no la hace invulnerable ante posibles ataques de ciberdelincuentes. Durante el mes de noviembre del año 2023 el chatbot fue víctima de uno.

“Estamos experimentando cortes periódicos por un patrón de tráfico anormal que refleja un ataque de DDoS. Estamos trabajando para mitigarlo”, alertó la empresa de Sam Altman en su registro de incidentes, en el que señala que todo comenzó el 7 de noviembre de 2023, con problemas que experimentaron los usuarios del chatbot.

Sin embargo, al día siguiente los problemas se intensificaron, y en la investigación de OpenAI finalmente se pudo determinar que estaban bajo un ataque DDoS que los había dejado fuera de juego durante varias horas.

ESET señaló que la API (interfaz de programación de aplicaciones) y el chatbot de la compañía experimentaron cortes que se confirmaron como producto del ciberataque.