Anthropic usará matemáticas para comprobar qué modelo de IA está usando un usuario: creando huella digital

La compañía liberó el código y la documentación técnica de la herramienta bajo una licencia de código abierto

Anthropic presentó FlashProve, un sistema que comprueba mediante pruebas matemáticas qué modelo de inteligencia artificial generó una respuesta. (REUTERS/Carlos Barria/File Photo/File Photo)
Anthropic presentó FlashProve, un sistema que comprueba mediante pruebas matemáticas qué modelo de inteligencia artificial generó una respuesta. (REUTERS/Carlos Barria/File Photo/File Photo)
Guardar

Anthropic desarrolla un sistema que permite comprobar, con una prueba matemática, qué modelo de inteligencia artificial generó realmente una respuesta. Se llama FlashProve y busca resolver un problema que hasta ahora no tenía solución: cuando alguien le hace una pregunta a una IA, no existe forma de verificar si la respuesta salió del modelo que eligió o de otro distinto.

El proyecto fue presentado mediante una publicación técnica de la compañía, que liberó el código, un informe detallado y pruebas formales bajo licencia de código abierto. Según explican sus propios investigadores, se trata de un “progreso intermedio” y no de una herramienta terminada ni lista para usarse en producción.

PUBLICIDAD

Qué problema busca resolver Anthropic

Cuando un usuario envía una consulta a un modelo de IA, hoy no tiene manera de confirmar que la respuesta provino del modelo que seleccionó. Puede haber sido reemplazado por uno más barato para ahorrar costos, por uno más potente para inflar resultados o incluso manipulado por un atacante.

FlashProve es un sistema que genera una prueba criptográfica verificable para confirmar qué modelo de inteligencia artificial produjo una respuesta específica, sin revelar los datos internos de ese modelo. Funciona de forma similar a una firma digital: permite confirmar el origen de un mensaje sin exponer información confidencial de quien lo envía.

PUBLICIDAD

El proyecto busca evitar que intermediarios sustituyan modelos de inteligencia artificial por versiones más baratas para recortar costos. (REUTERS/Dado Ruvic/Illustration/Archivo)
El proyecto busca evitar que intermediarios sustituyan modelos de inteligencia artificial por versiones más baratas para recortar costos. (REUTERS/Dado Ruvic/Illustration/Archivo)

Anthropic identifica varios escenarios donde esta verificación resulta necesaria. Los evaluadores independientes que ponen a prueba modelos de IA antes y después de su lanzamiento necesitan asegurarse de que están analizando el mismo sistema que luego se pondrá a disposición del público.

También los clientes que contratan un modelo a través de un servicio intermediario de terceros quieren confirmar que están recibiendo las respuestas del modelo por el que pagaron, y no de una versión más barata sustituida sin aviso.

Un tercer caso es la detección de manipulaciones externas: si un atacante compromete un servidor y altera las respuestas haciéndose pasar por un modelo legítimo, un usuario no tendría forma de notarlo analizando solo el resultado final.

Cómo funciona el sistema por dentro

La base técnica de FlashProve es un objeto criptográfico conocido como “argumento sucinto de conocimiento cero” (zkSNARK, por su sigla en inglés). En términos simples, permite que una parte demuestre a otra que realizó un cálculo determinado, sin revelar los detalles internos de ese cálculo.

Los evaluadores independientes podrán certificar que analizan el mismo modelo que luego llegará al público general. (REUTERS/Dado Ruvic/Illustration/File Photo)
Los evaluadores independientes podrán certificar que analizan el mismo modelo que luego llegará al público general. (REUTERS/Dado Ruvic/Illustration/File Photo)

El proceso tiene dos etapas. Primero, el proveedor del modelo publica una especie de “huella digital” o fingerprint de sus pesos (los valores internos que definen el comportamiento del sistema). Esa huella no revela los pesos reales, que las empresas como Anthropic y OpenAI mantienen en reserva por ser su activo más valioso.

Después, cada vez que el modelo responde una consulta, el proveedor adjunta una prueba corta que certifica que esa respuesta concreta fue generada por el modelo asociado a la huella publicada. El usuario puede verificar esa prueba en segundos, incluso desde un dispositivo común, sin necesidad de acceder a infraestructura especializada.

Esta prueba cumple con cuatro condiciones según el diseño del sistema: se acepta si es honesta, no puede falsificarse, no revela información más allá de lo que certifica y es liviana para comprobar en comparación con el cálculo original que respalda.

Los usuarios pueden comprobar la validez de la prueba técnica en pocos segundos desde un dispositivo común. (REUTERS/Dado Ruvic)
Los usuarios pueden comprobar la validez de la prueba técnica en pocos segundos desde un dispositivo común. (REUTERS/Dado Ruvic)

Para qué puede servir más allá de los usuarios finales

Anthropic plantea aplicaciones que exceden la relación directa entre una persona y un chatbot. Un desarrollador podría demostrar que su código fue efectivamente revisado por un modelo avanzado de ciberseguridad, o una empresa podría certificar que su plan de negocios recibió el visto bueno de un sistema de IA determinado.

El sistema también podría servir como insumo para reguladores y auditores que necesiten confirmar que una empresa de IA cumple con compromisos específicos, como destinar cierta capacidad de cómputo a tareas de inferencia en lugar de usarla de forma encubierta para entrenar nuevos modelos.

PUBLICIDAD

PUBLICIDAD