El CEO de Anthropic, a días de salir a bolsa: “Somos muy paranoicos” con los agentes de IA

El viernes 13 de noviembre, el cofundador y CEO de Anthropic, Dario Amodei, dijo que lo que frena a los agentes de IA no es su capacidad, sino poder usarlos de forma segura. Lo planteó en una charla en vivo con Jamie Dimon, que dirige JPMorgan Chase, como parte de la gira de presentación ante inversores.

La compañía presentó su prospecto ante la SEC, el organismo que controla la bolsa en Estados Unidos. Ahí figura que Anthropic y algunos de sus accionistas venderán 825 millones de acciones a entre USD 70 y 78 cada una, lo que la valuaría en hasta USD 1,4 billones.

Según Reuters, las acciones empezarían a cotizar en el Nasdaq el 19 de noviembre.

Amodei dijo que la seguridad es lo que hoy limita a los agentes

Dimon le preguntó qué tienen que hacer las empresas reguladas, que necesitan la confianza de sus clientes, antes de darles a los agentes acceso a su información sensible. Los agentes son programas de IA que ejecutan tareas por su cuenta, como escribir código o completar procesos de trabajo.

Amodei respondió que lo primero es la seguridad. Según dijo, los agentes progresan a un ritmo “increíble”, y la dificultad ya no está en que resuelvan una tarea compleja de ciencias de la vida o de arquitectura de software.

El desarrollo de la tecnología, su uso dentro de Anthropic y la adopción por parte de los clientes tienen, para él, el mismo límite: la seguridad. “No queremos que estos agentes se descontrolen”, afirmó.

Agregó que Anthropic invirtió, “creo, más que cualquier otra empresa del sector”, en hacer segura esta tecnología, y que tiene un equipo de alineación “muy grande”. La alineación es el trabajo para que un modelo haga lo que se espera de él.

“Somos muy paranoicos”, dijo. Contó que cada pocos meses, después de todo el esfuerzo ya puesto en seguridad y alineación, la empresa decide hacer otra tanda intensiva de trabajo para sumar todavía más.

Por qué Anthropic eligió venderles a empresas

La otra mitad de la respuesta fue sobre el negocio. “Elegimos a las empresas como foco de forma más o menos deliberada, porque entendimos que iba de la mano con nuestra apuesta por la seguridad”, explicó Amodei.

En su razonamiento, a las empresas les importan la confianza, las relaciones de largo plazo y su reputación más que a los consumidores, y quieren asegurarse de que los modelos no causen estragos.

Sostuvo que a Anthropic la seguridad le importa “por una cuestión de valores” desde su fundación, y que el negocio con empresas funcionó como “un incentivo prosocial”: alinea los intereses comerciales de la compañía con lo que quiere lograr para la sociedad.

Según recogió Barron’s, Amodei también confirmó que la empresa rechaza a postulantes con capacidad técnica que no estén “orientados al beneficio público”.

Lo que Amodei no respondió

A mi lectura, lo más valioso de la charla es que Amodei no presentó la seguridad como un costo que la empresa paga por convicción. La presentó como lo que les vende a sus clientes.

Queda sin respuesta qué pasa cuando esa prioridad choque con lo que piden los accionistas. Amodei no se refirió a eso en su respuesta. Desde el 19 de noviembre, si se cumple el calendario, esa explicación se la va a pedir el mercado.

La paranoia, en el modelo de Anthropic, es parte del negocio.