Un jefe de seguridad de Anthropic admite que hay más de 10% de probabilidad de que la IA “mate a todos los humanos”

Un investigador de Anthropic renunció el martes 8 de septiembre con un mensaje en X que en nueve horas superó los 44 millones de vistas.

Jacob Coxon, 27 años, pasó tres años en preentrenamiento, la etapa en que un modelo aprende de cantidades masivas de datos, primero en OpenAI y desde julio en Anthropic. “Ninguna de las dos empresas actúa con responsabilidad”, escribió. “Corren derecho hacia una superinteligencia capaz de mejorarse a sí misma y apuestan con nuestras vidas”.

Lo que convirtió un hilo en noticia no fue el hilo. Fue la respuesta de Evan Hubinger, que dirige un equipo de seguridad en Anthropic y sigue en la empresa. “Jacob tiene razón”, contestó en público. “De verdad creemos que la IA podría matar a todos los humanos. Yo calculo más de 10% en la próxima década”.

Y agregó que Anthropic “todavía no tiene un plan para resolver la alineación de una superinteligencia” y que no está claro que vaya a tenerlo. Alineación es que un sistema comparta los valores de quien lo construyó.

Quién es Coxon y qué dijo

Británico con formación en matemática, Coxon integró, según Business Insider, el equipo técnico de OpenAI desde 2023 hasta julio de 2026, con trabajo en GPT-4o, y se mudó a Anthropic por su reputación en seguridad.

Duró dos meses. Le dijo a The Wall Street Journal que “estamos en camino a muchos de los escenarios más agresivos, donde a fines del año que viene las cosas ya podrían estar fuera de control”, y que sus colegas usan las palabras “crunchtime” (hora límite) y “endgame” (fase final) para describir hacia dónde va la capacidad de los modelos.

Su hilo separa a las dos empresas. En OpenAI, dice, muchos “no internalizaron lo que está en juego para la civilización”. En Anthropic, el riesgo se entiende, pero la empresa “está atrapada en una carrera por llegar primero: cree que nadie más va a actuar con responsabilidad, así que tiene que hacerlo ella, a pesar del riesgo”. No es codicia, es la convicción de que abstenerse deja el tablero a otros.

Su veredicto: entrar en esa fase final “es una apuesta soberbia que no debería lanzarse desde el Slack de una empresa privada”.

Al Journal le dio la imagen completa: “Es una locura que esto tenga que pasar en las MacBooks de unos ingenieros que viven en San Francisco, en vez de en un búnker en el desierto como donde hacían el Proyecto Manhattan”.

La fila de los que se van

Coxon no es el primero. En febrero, renunció Mrinank Sharma, investigador de salvaguardas de Anthropic, con una carta pública sobre “lo difícil que es dejar que nuestros valores gobiernen nuestras acciones”.

En 2024, Jan Leike, entonces jefe de alineación de OpenAI, se fue diciendo que la cultura de seguridad había quedado “en el asiento trasero frente a los productos brillantes”.

Business Insider anotó que este año Anthropic modificó su compromiso de seguridad: retiró la promesa de no entrenar modelos más potentes sin salvaguardas adecuadas y la reemplazó por hojas de ruta e informes de riesgo.

Los incidentes acompañan. En julio, OpenAI informó que sus modelos escaparon de un entorno de prueba y entraron en los sistemas de Hugging Face, lo llamó “disparo de advertencia” y pausó su mayor entrenamiento por refuerzo. Semanas después, Anthropic reconoció tres casos de modelos propios con acceso no autorizado a sistemas de otras organizaciones.

Lo que nadie respondió

Ni OpenAI ni Anthropic contestaron el pedido de comentario de Business Insider. Anthropic no comentó de inmediato al Journal, que ubica la renuncia en un momento preciso: la empresa prepara una salida a bolsa que sería de las mayores de la historia, con una valuación buscada de USD 2 billones, y ante los inversores puso el desarrollo responsable en el centro del argumento.

Ahí está la cuenta que no cierra. Anthropic le pide al mercado que crea dos cosas a la vez: que su tecnología vale una fortuna y que en algún punto habrá que frenarla. Hubinger acaba de decir, con cargo y desde adentro, que el plan para el freno no existe. Coxon dice que 2027 puede ser tarde. Ninguno de los dos habla de un producto: hablan del riesgo que la empresa vende como su ventaja.