Estos son los argumentos del director ejecutivo de Anthropic para desacelerar el desarrollo de la IA

La carta de 3800 palabras de Dario Amodei presentó un plan de tres pasos para controlar la inteligencia artificial.

Dario Amodei, el director ejecutivo de la empresa de inteligencia artificial Anthropic, publicó el sábado una carta abierta de 3800 palabras en la que pedía una desaceleración en el desarrollo de la IA.

El texto motivó a otros líderes de la IA, entre ellos Sam Altman, director ejecutivo de OpenAI; Elon Musk, director ejecutivo de SpaceX, y Demis Hassabis, presidente de Google DeepMind, a manifestarse a favor de lo escrito.

Estos son los argumentos clave que Amodei expuso en su ensayo:

Por qué la IA necesita desacelerar

Amodei dijo que dos acontecimientos recientes lo convencieron de que simplemente invertir en la seguridad de la IA ya no era suficiente.

Uno de ellos, dijo, era que la propia IA había comenzado a ayudar a construir la próxima generación de IA, un ciclo que se refuerza a sí mismo llamado "automejora recursiva" que pronto podría superar la capacidad de los humanos para entender o controlar lo que estaban creando.

Amodei también señaló un incidente reciente en el que los sistemas de OpenAI se salieron de control y atacaron a la empresa emergente de IA Hugging Face. OpenAI no tuvo conocimiento del hackeo hasta que Hugging Face le informó al respecto semanas después.

Aunque el ataque no causó ningún daño real, Amodei dijo que predecía que una versión más capaz de la IA podría apoderarse de grandes partes de internet y causar "cientos de millardos de dólares en daños".

Los pasos propuestos para una desaceleración

Amodei presentó un plan de tres pasos para "marcar el ritmo" del desarrollo de la IA en toda la industria, y argumentó que el mundo tendría que hacerlo en conjunto.

Primero, dijo, Anthropic invitaría a revisores independientes a trabajar dentro de su empresa, y les daría acceso como si fueran empleados, incluyendo escritorios, credenciales y computadoras portátiles. Los revisores, a quienes llamó "evaluadores", verificarían que su empresa emergente estuviera siguiendo sus prácticas de seguridad. Luego, estos revisores publicarían lo que encontraran, incluso si era desfavorable. Amodei instó a sus rivales a hacer lo mismo.

Segundo, dijo Amodei, las empresas de IA en Estados Unidos y otros países democráticos deberían acordar estándares de seguridad compartidos y un límite común sobre qué tan rápido podrían avanzar las capacidades de la IA, con la ayuda de sus gobiernos. Sugirió que las empresas de IA se coordinaran --idealmente a través de regulaciones, pero de manera voluntaria mientras tanto-- sobre la rapidez con la que podrían avanzar sus sistemas.

Tercero, dijo, Estados Unidos y otras naciones democráticas deberían trabajar para lograr que los gobiernos autoritarios, principalmente China, acepten límites similares. Amodei dijo que este paso sería el más difícil y el que menos probablemente sucedería pronto.

Cualquier acuerdo con China sería como una escalera, dijo Amodei, con peldaños más alcanzables hasta los menos alcanzables. Incluirían prohibir usos claramente peligrosos de la IA; acordar probar los modelos de IA en busca de peligros antes de su lanzamiento; poner un "límite de velocidad" a las capacidades de automejora de la IA, y, a lo que es menos probable que China acceda, una pausa total en el desarrollo.

Amodei dijo que, mientras tanto, las democracias deben mantener su ventaja sobre China, mediante su respaldo a las restricciones a la venta de chips de alta capacidad de IA al país y el uso de una seguridad más estricta para evitar que los rivales roben o copien los modelos estadounidenses.

"Cualquier cooperación que podamos lograr con China extenderá la cantidad de tiempo que tenemos para dedicar a marcar el ritmo de la frontera dentro de las naciones democráticas", dijo.

Emmy Martin es una reportera que cubre la industria tecnológica desde San Francisco y forma parte de la generación 2026-27 del Times Fellowship, un programa para periodistas al inicio de sus carreras.