Anthropic desarrolla un sistema que permite comprobar, con una prueba matemática, qué modelo de inteligencia artificial generó realmente una respuesta. Se llama FlashProve y busca resolver un problema que hasta ahora no tenía solución: cuando alguien le hace una pregunta a una IA, no existe forma de verificar si la respuesta salió del modelo que eligió o de otro distinto.
El proyecto fue presentado mediante una publicación técnica de la compañía, que liberó el código, un informe detallado y pruebas formales bajo licencia de código abierto. Según explican sus propios investigadores, se trata de un “progreso intermedio” y no de una herramienta terminada ni lista para usarse en producción.
PUBLICIDAD
Qué problema busca resolver Anthropic
Cuando un usuario envía una consulta a un modelo de IA, hoy no tiene manera de confirmar que la respuesta provino del modelo que seleccionó. Puede haber sido reemplazado por uno más barato para ahorrar costos, por uno más potente para inflar resultados o incluso manipulado por un atacante.
FlashProve es un sistema que genera una prueba criptográfica verificable para confirmar qué modelo de inteligencia artificial produjo una respuesta específica, sin revelar los datos internos de ese modelo. Funciona de forma similar a una firma digital: permite confirmar el origen de un mensaje sin exponer información confidencial de quien lo envía.
Anthropic identifica varios escenarios donde esta verificación resulta necesaria. Los evaluadores independientes que ponen a prueba modelos de IA antes y después de su lanzamiento necesitan asegurarse de que están analizando el mismo sistema que luego se pondrá a disposición del público.
PUBLICIDAD
También los clientes que contratan un modelo a través de un servicio intermediario de terceros quieren confirmar que están recibiendo las respuestas del modelo por el que pagaron, y no de una versión más barata sustituida sin aviso.
Un tercer caso es la detección de manipulaciones externas: si un atacante compromete un servidor y altera las respuestas haciéndose pasar por un modelo legítimo, un usuario no tendría forma de notarlo analizando solo el resultado final.
Cómo funciona el sistema por dentro
La base técnica de FlashProve es un objeto criptográfico conocido como “argumento sucinto de conocimiento cero” (zkSNARK, por su sigla en inglés). En términos simples, permite que una parte demuestre a otra que realizó un cálculo determinado, sin revelar los detalles internos de ese cálculo.
PUBLICIDAD
El proceso tiene dos etapas. Primero, el proveedor del modelo publica una especie de “huella digital” o fingerprint de sus pesos (los valores internos que definen el comportamiento del sistema). Esa huella no revela los pesos reales, que las empresas como Anthropic y OpenAI mantienen en reserva por ser su activo más valioso.
Después, cada vez que el modelo responde una consulta, el proveedor adjunta una prueba corta que certifica que esa respuesta concreta fue generada por el modelo asociado a la huella publicada. El usuario puede verificar esa prueba en segundos, incluso desde un dispositivo común, sin necesidad de acceder a infraestructura especializada.
Esta prueba cumple con cuatro condiciones según el diseño del sistema: se acepta si es honesta, no puede falsificarse, no revela información más allá de lo que certifica y es liviana para comprobar en comparación con el cálculo original que respalda.
PUBLICIDAD
Para qué puede servir más allá de los usuarios finales
Anthropic plantea aplicaciones que exceden la relación directa entre una persona y un chatbot. Un desarrollador podría demostrar que su código fue efectivamente revisado por un modelo avanzado de ciberseguridad, o una empresa podría certificar que su plan de negocios recibió el visto bueno de un sistema de IA determinado.
El sistema también podría servir como insumo para reguladores y auditores que necesiten confirmar que una empresa de IA cumple con compromisos específicos, como destinar cierta capacidad de cómputo a tareas de inferencia en lugar de usarla de forma encubierta para entrenar nuevos modelos.
PUBLICIDAD
PUBLICIDAD