Microsoft Azure anuncia un sistema de seguridad que identifica alucinaciones en los resultado de los LLM

Microsoft ha anunciado nuevas funcionalidades enfocadas a la seguridad para los usuarios de la plataforma Azure, entre las que se encuentra un sistema que identifica las alucinaciones basadas en texto resultado de la Inteligencia Artificial (IA) generativa. La directora de producto de IA responsable de Microsoft, Sarah Bird, ha confirmado a The Verge que su equipo ha diseñado características basadas en modelos de lenguaje grande (LLM, por sus siglas en inglés) que serán "fáciles de usar" para sus clientes. Entre estas herramientas, que ya están disponibles para algunos usuarios de Azure AI Studio para desarrolladores de aplicaciones de IA generativa, se encuentra Prompt Shields, que sirve para detectar y bloquear ataques de inyección rápida y que ahora está disponible en versión preliminar en Azure AI Content Safety. Con esta actualización también ha introducido un sistema de evaluaciones de seguridad para analizar el nivel de vulnerabilidad de una aplicación a ataques de 'jailbreak', también disponible solo en vista previa. Por otra parte, ha anunciado un formato que filtra las alucinaciones, esto es, los datos que ofrece un modelo impulsado por IA que, a pesar de que están escritos de manera coherente, incluyen información correcta, sesgada o errónea. Microsoft cree que "identificar las alucinaciones es crucial para mejorar la calidad y la confiabilidad de los sistemas de IA generativa", tal y como ha señalado en este comunicado. De ahí que haya desarrollado una característica de 'conexión a tierra' diseñada para identificar alucinaciones basadas en texto para aplicaciones que utilizan documentos, como las que hacen resúmenes o funcionan como 'copilotos' de preguntas y respuestas. Microsoft ha matizado que esta solución se ha creado desde cero para detectar con precisión afirmaciones infundadas, para lo que ha construido un modelo de lenguaje personalizado ajustado a una tarea de procesamiento de lenguaje natural llamada Inferencia de Lenguaje Natural (NLI, por sus siglas en inglés). Esta evalúa las afirmaciones "como implicadas, refutadas o neutrales" con respecto a un documento fuente. La firma ha señalado que el modelo de detección de alucinaciones de conexión a tierra mejorará "continuamente" a medida que siga ampliando los límites de la innovación en IA responsable.