Quién está detrás de METR, la organización que Anthropic propone para controlar los riesgos de la IA

Anthropic ha propuesto que METR (Model Evaluation and Threat Research) tenga un papel central en la supervisión independiente de los sistemas de inteligencia artificial (IA), en un momento en el que la industria debate cómo controlar los riesgos asociados al desarrollo de modelos cada vez más capaces.

La organización, sin embargo, no es un actor ajeno al ecosistema de las grandes compañías de IA: entre sus integrantes hay antiguos empleados de Anthropic, OpenAI y Google DeepMind, mientras que varios de sus principales financiadores están vinculados al movimiento conocido como Effective Altruism.

La propuesta fue planteada por Dario Amodei, CEO de Anthropic, en una carta en la que pidió establecer mecanismos de control más estrictos sobre el desarrollo de la IA. El ejecutivo sostiene que los sistemas futuros podrían adquirir capacidades capaces de generar riesgos graves para la sociedad y plantea, entre otras medidas, permitir el acceso permanente de auditores externos e independientes.

En ese contexto, Amodei señaló específicamente a METR como una organización adecuada para realizar este tipo de evaluaciones.

Qué es METR y qué hace

METR es una organización sin fines de lucro dedicada a estudiar las capacidades y los posibles riesgos de los sistemas avanzados de IA. Su objetivo declarado es evaluar científicamente si estas tecnologías podrían representar un peligro catastrófico para la sociedad.

Uno de sus trabajos más conocidos consiste en medir cuánto tiempo de trabajo humano puede completar de manera autónoma un agente de IA. Esta métrica se ha convertido en una referencia para comparar las capacidades de los sistemas agénticos, capaces de ejecutar tareas de varios pasos con una intervención humana limitada.

METR también realiza investigaciones de seguridad y desarrolla propuestas relacionadas con la gobernanza de los modelos. Entre sus trabajos recientes figura una investigación relacionada con un incidente que involucró a OpenAI y Hugging Face.

La organización nació dentro de un centro de investigación de IA

METR no surgió como una organización completamente independiente desde el principio. Sus orígenes se encuentran en ARC Evals, un equipo perteneciente al Alignment Research Center (ARC), dirigido por Paul Christiano, uno de los investigadores más conocidos del campo del alineamiento de la IA y antiguo empleado de OpenAI.

Para dirigir el nuevo proyecto fue contratada Beth Barnes, quien anteriormente había trabajado en DeepMind y OpenAI. El equipo creció y en 2023 se independizó de ARC para convertirse en METR.

Barnes continúa actualmente al frente de la organización como CEO y fundadora. Su equipo también incluye investigadores y antiguos trabajadores procedentes de algunos de los principales laboratorios de IA. Entre ellos se encuentran personas que han trabajado en OpenAI, Anthropic y Google DeepMind.

Cómo se financia METR

METR funciona como una organización sin ánimo de lucro y depende principalmente de donaciones. En agosto anunció que había conseguido recaudar 71 millones de dólares en seis meses.

La organización afirma que no acepta financiación de las compañías de IA cuyos modelos evalúa ni de empleados de esos laboratorios. Sin embargo, mantiene relaciones operativas con estas empresas: OpenAI, Anthropic, Google DeepMind, Meta y otras compañías le proporcionan acceso a sus modelos y cantidades importantes de tokens para realizar las pruebas.

Entre sus financiadores aparecen fundaciones como Sijbrandij Foundation, Schmidt Sciences, Packard Foundation y Pew Charitable Trusts, además de organizaciones relacionadas con Effective Altruism, un movimiento filantrópico que ha dedicado importantes recursos a investigar los riesgos potenciales de la inteligencia artificial.

Las críticas sobre su independencia

La relación entre METR y el ecosistema de las grandes empresas de IA ha generado críticas. David Sacks, asesor tecnológico de la Administración Trump, cuestionó públicamente que la organización sea considerada completamente independiente debido a sus vínculos con personal e inversores relacionados con Anthropic.

También existen críticas que acusan a METR y Anthropic de buscar una mayor regulación que podría perjudicar a competidores y proyectos de IA de código abierto. Sin embargo, no existen pruebas de que METR actúe siguiendo instrucciones de Anthropic ni de que exista una estrategia coordinada de captura regulatoria.

El debate se centra, por tanto, en qué significa realmente que un organismo sea independiente. METR no recibe financiación directa de Anthropic, pero comparte parte de su ecosistema profesional y recibe acceso a modelos de la compañía para realizar sus evaluaciones.

La propuesta de Amodei llega además en medio de advertencias cada vez más severas sobre los riesgos de la IA. Algunos investigadores de Anthropic han planteado escenarios en los que sistemas futuros podrían representar amenazas graves para la humanidad.