GhostWriter envenana los recuerdos de la IA para manipular las respuestas que da a los usuarios

Investigadores de la Universidad de la Universidad Estatal de Nuevo México (Estados Unidos) han alertado sobre GhostWriter, un nuevo vector de ataque que aprovecha la memoria a largo plazo de los modelos de lenguaje para manipular los recuerdos, con el potencial de afectar en las decisiones de los usuarios.

La memoria a largo plazo de los modelos de lenguaje permite que 'chatbots' como ChatGPT o Gemini puedan recordar más información de las conversaciones mantenidas con los usuarios y utilizarla para que las siguientes interacciones sean más personalizadas y se ajusten más a lo que solicitan.

Este componente es vulnerable a GhostWriter, un tipo de ataque diseñado para envenenar los recuerdos de la inteligencia artificial. Para ello, oculta una indicación maliciosa en un objeto que va a analizar la IA, como una fotografía o un texto.

Se trata de una forma de inyección de instrucciones ('prompt injection'), aunque en lugar de activar una respuesta concreta inmediata, afecta a la información almacenada en la memoria de la IA. Tampoco busca robar información, sino manipularla.

De esta forma, GhostWriter puede conseguir que la IA ofrezca información manipulada a los usuarios en conversaciones futuras, influyendo en las decisiones que toman.

En su investigación, publicada en Arxiv, los investigadores atribuyen este vector de ataque a "la falta de una gobernanza de memoria centrada en la seguridad". Y para corregirlo, proponen un centinela de memoria agente (AM-Sentry), que mitiga un ataque como el de GhostWriter "una política de ahorro de memoria y un filtro de recuperación de memoria".