Anthropic concede a una ONG acceso de empleado para auditar sus propios modelos de IA

Anthropic anunció que le dio a un equipo de seis investigadores de METR, una organización sin fines de lucro que evalúa modelos de inteligencia artificial, un nivel de acceso equivalente al de sus propios empleados para que audite de forma independiente sus modelos y sus prácticas de seguridad.

La empresa lo describió en una publicación oficial del jueves como el paso más avanzado de un sistema de tres niveles de evaluadores externos que está construyendo desde el año pasado.

Según el comunicado, los seis integrantes de METR recibieron computadoras de la empresa, espacio de oficina y acceso a herramientas internas “a la par” de lo que usan los propios equipos de evaluación de riesgos de Anthropic.

Qué podrán ver en la auditoría

La compañía señaló que sus empleados pueden compartir información con el equipo de METR “igual que lo harían con un colega que trabaja en riesgo de alineación”, salvo en categorías específicas: datos de clientes, información protegida por secreto profesional entre abogado y cliente, y detalles sobre la arquitectura de sus modelos.

Anthropic explicó que, para evaluar modelos de punta, los evaluadores externos deben reunir cuatro condiciones: experiencia para analizar las capacidades de los sistemas, incluida la capacidad de detectar cuándo una evaluación falla, por ejemplo si el modelo finge estar alineado, e independencia económica y operativa respecto de la empresa evaluada.

Las otras dos condiciones son un acceso suficiente, que va más allá de los modelos y llega hasta cómo se entrenaron y cómo funcionan sus salvaguardas, y la libertad para publicar sus observaciones sin restricciones previas.

La compañía reconoció que no puede compartir toda la información sobre su trabajo de seguridad en forma pública: parte de esos datos podría ser útil para actores maliciosos o es sensible desde el punto de vista comercial, como la información sobre el cómputo o el entrenamiento de sus modelos.

Por eso, según el comunicado, Anthropic optó por darles a los evaluadores externos un acceso profundo a cambio de que compartan pruebas y conclusiones razonadas sobre los riesgos de construir sus sistemas.

METR tendrá además la potestad de publicar sus propias evaluaciones de riesgos, incidentes y prácticas de la compañía, algo que la empresa no podrá bloquear. “Anthropic no puede vetar la publicación, pero podemos exigir que redacten información si cae en categorías estrechas y predefinidas”, escribió la compañía en su blog.

La organización evaluadora, aclaró Anthropic, “es libre de caracterizar públicamente nuestras redacciones y decir si cree que estaban justificadas, siempre que lo haga sin revelar la información redactada”.

La empresa comparó el esquema con la supervisión bancaria, en la que los reguladores destinan examinadores residentes dentro de los bancos más grandes para detectar riesgos antes de que afecten al público.

Un sistema de tres niveles

METR es, por ahora, el único evaluador que llegó al nivel más alto del esquema. En el nivel más bajo, organizaciones como la ONG de bioseguridad SecureBio realizan revisiones acotadas y necesitan la aprobación de Anthropic antes de publicar sus hallazgos.

El nivel intermedio recibe más información y puede publicar sin pedir permiso previo, mientras que el nivel superior, ocupado hoy solo por METR, suma el acceso equivalente al de un empleado. La compañía dijo que también trabaja con la consultora Accenture como evaluadora y que mantiene conversaciones iniciales con otras organizaciones, entre ellas Hugging Face.

El equipo de METR ya había revisado varios de los informes de riesgo durante el último año, antes de recibir este nivel de acceso ampliado, según precisó la empresa.

El contexto detrás del anuncio

El anuncio llega en un momento en que se difundieron, desde fines de agosto, incidentes de agentes de inteligencia artificial que actuaron fuera de las instrucciones que recibieron, con una frecuencia de uno cada dos semanas aproximadamente, según reconstruyó TechCrunch. Esa seguidilla intensificó los pedidos de controles independientes sobre las empresas de IA.

La medida también cumple una promesa que el director ejecutivo de Anthropic, Dario Amodei, había hecho en un ensayo publicado en septiembre, en el que propuso incorporar evaluadores externos dentro de los laboratorios de inteligencia artificial como un primer paso para moderar el ritmo de desarrollo de la tecnología.

OpenAI se sumó rápidamente a ese compromiso, y esa empresa, junto con Google, Meta, Nvidia, Anthropic y xAI, firmó después un acuerdo con la Casa Blanca que las compromete a someterse a revisiones independientes.

“Queremos rendir cuentas públicamente por las decisiones que tomamos”, escribió Anthropic en su blog. “Buscamos cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de punta y lo que la propia empresa entiende”.

La empresa aclaró que su relación con el equipo de METR está limitada a un grupo acotado que opera bajo acuerdos exigibles, y que el resto del personal de la organización evaluadora queda aislado de ese trabajo, incluidos los investigadores que colaboran en otros proyectos.