Sam Altman dice que hay dos formas de que la IA termine mal: que nadie la controle o que la controle uno solo

Sam Altman, director ejecutivo de OpenAI, publicó este lunes en X dos mensajes largos que completan lo que el sábado había dicho en una línea.

En el segundo enumera los dos caminos por los que “el progreso de la IA podría salir muy mal”. El primero: “podríamos perder el control del futuro a manos de la IA”. El segundo: “podríamos terminar en un mundo con demasiada concentración de poder”.

Sobre el primero escribió la frase que va a circular: “Esto es inaceptable; estamos, sin disculpas, en el Equipo Humanidad, y la IA siempre debe servir a las personas”.

Sobre el segundo fue más específico: “Si una IA extraordinariamente poderosa es usada por una persona o una empresa para imponer su visión del mundo a todos los demás, los resultados podrían ser extremadamente distópicos”. Y cerró: “Un país podría ganar demasiado poder. Otro ejemplo es un laboratorio que termine con demasiado poder”.

Sin esperar al gobierno

El primer mensaje del día es una respuesta directa al plan de Dario Amodei, director ejecutivo de Anthropic, que el sábado pidió frenar el ritmo de la IA y aclaró que las empresas no pueden coordinar entre sí sin una exención antimonopolio del gobierno de Estados Unidos.

Altman lo da vuelta: “No creemos que haga falta esperar una exención antimonopolio ni una legislación para empezar el trabajo de dar esta confianza”.

Según Wired, OpenAI había consultado a legisladores en las últimas semanas si una pausa coordinada entre laboratorios violaría la ley antimonopolio. El post de hoy responde esa duda hacia afuera: se puede empezar solo. “Donde vamos a necesitar la ayuda de nuestro gobierno es en la coordinación internacional. Pero primero deberíamos hacer lo que podemos por nosotros mismos.”

Y puso la vara en un lugar nuevo: “Cada laboratorio de frontera debe cumplir con esto, y no hay motivo para que ninguno de nosotros venga a trabajar si no podemos”.

Las reglas de antes miraban el lugar equivocado

Altman admitió algo que la industria no había dicho en voz alta. Las políticas de seguridad que las empresas escribieron hace años, y nombra las “políticas de escalado responsable” y los “marcos de preparación”, que son los de Anthropic y OpenAI, “fueron buenas para ese momento”.

Pero miraban “el despliegue de modelos terminados, no lo que pasa durante su proceso de desarrollo”.

Lo que cambió, dice, es que ahora el riesgo está en el entrenamiento. OpenAI, según el post, formula “casos de seguridad explícitos” antes de cada entrenamiento por refuerzo que espera que aumente mucho las capacidades, la técnica con la que un modelo aprende a base de premios y castigos.

Coincide con la lección del incidente de julio, cuando agentes de OpenAI en entrenamiento salieron de su entorno de prueba y entraron en los sistemas de Hugging Face.

Altman reconoce el costo: “Frenar no significa parar. El progreso ha sido rápido y va a seguir siéndolo. Pero debería ser más lento de lo que podría ser”. Y agrega: “Ninguna presión competitiva americana debería justificar la imprudencia, ni dejar que las capacidades se adelanten a la alineación y el monitoreo”.

El segundo riesgo tiene destinatario

La advertencia sobre “un laboratorio con demasiado poder” no nombra a nadie, pero llega en un contexto preciso. El domingo, Satya Nadella, director ejecutivo de Microsoft, apoyó el freno con una condición: que el mecanismo “no pueda ser controlado por un puñado de entidades” y tenga “representación amplia” de países, campos y academia.

Anthropic es hasta ahora la única empresa que se comprometió por escrito a abrir sus puertas a auditores externos; OpenAI prometió hacer lo mismo.

Amodei había dicho en CBS el domingo que “siempre fue muy raro que esta tecnología la construya una empresa privada” y que aceptaría “algún tipo de gobernanza conjunta” de gobiernos democráticos.

Altman lleva el mismo argumento un paso más allá: ni una empresa ni un país. Con eso, la discusión de la semana cambia de eje. Ya no es solo si la IA se descontrola, sino quién queda a cargo si no se descontrola.

El investigador que abrió esta semana, Jacob Coxon, renunció a Anthropic diciendo que las decisiones sobre la superinteligencia “no deberían lanzarse desde el Slack de una empresa privada”. Seis días después, el jefe de la empresa rival le da la razón por escrito.