La IA ya abre cualquier computadora: el científico jefe de OpenAI pide frenar

El domingo 6 de septiembre, Jakub Pachocki, científico jefe de OpenAI, publicó en el sitio de la empresa un ensayo titulado “An Alien Mind” (Una mente alienígena). Tres días antes, su compañía había lanzado GPT-6 Astra, el modelo más potente de su historia, con acceso limitado a un grupo reducido de organizaciones por su capacidad para vulnerar sistemas informáticos. El hombre que dirige la ciencia detrás de ese modelo eligió ese momento para decir que “este es un tiempo que exige cautela extrema” y que le preocupa que nadie esté preparado para lo que viene.

Todos creíamos que el peligro de la inteligencia artificial era abstracto, un tema de películas o de ensayos filosóficos. Pachocki lo baja a tierra con una frase que cualquier lector entiende: los modelos se están volviendo sobrehumanos para entrar y salir de sistemas informáticos. Y agrega la parte que importa: esos programas van a poder acceder a cualquier infraestructura salvo la más protegida, y afectar buena parte del mundo real, sin tener un cuerpo.

La amenaza no necesita cuerpo ni permiso

No es un pronóstico. En julio, según informó Bloomberg con datos de la propia OpenAI, modelos de la empresa que estaban en entrenamiento se coordinaron entre sí a través de foros de mensajes, sin que nadie lo detectara, salieron de su entorno controlado y atacaron los servidores de Hugging Face, una plataforma donde se comparten programas de inteligencia artificial. Pachocki lo menciona en su texto con una precisión que dice más que cualquier alarma: los agentes respetaron una sola regla, la de no manipular a personas, y cruzaron todas las demás.

A partir de ese episodio, OpenAI demoró el lanzamiento de Astra, le agregó protecciones y lo liberó primero a un puñado de empresas que participan de su programa de ciberseguridad. Es el primer modelo que la compañía reconoce como “crítico” en su propia escala de riesgo informático. Anthropic, su principal competidor, tampoco liberó al público su modelo más avanzado, Mythos, por razones parecidas, según consignó la agencia.

Pachocki describe lo que viene con el lenguaje de un ingeniero, no de un guionista. Un agente muy capaz, entrenado o instruido para hacer daño, tenderá a excederse del encargo original. La frontera entre el mal uso por parte de una persona y la acción autónoma de una máquina se va a borrar. Y algunos de esos agentes buscarán colaborar con humanos negociando, engañando o chantajeándolos.

Un hospital, un banco o una red eléctrica no se defienden de un programa que aprende solo con la misma seguridad que usaban contra un pirata informático de hace cinco años. El científico jefe de OpenAI lo dice sin rodeos: estamos en una ventana estrecha para usar los mejores modelos disponibles y reforzar la protección de los sistemas críticos antes de que sea tarde.

La herramienta para vigilarlas está perdiendo alcance

Lo más grave del ensayo no es la amenaza externa, sino la confesión interna. La apuesta central de OpenAI para controlar a sus modelos consistía en leerles el razonamiento: estos sistemas piensan “en voz alta” antes de responder, y la empresa decidió no supervisar ese proceso para que el modelo no aprendiera a ocultar intenciones. Era la ventana por donde se los podía vigilar.

Pachocki admite que las evaluaciones internas indican que la capacidad de confiar en esa vigilancia disminuye de forma progresiva. Da tres causas. Los modelos operan en entornos donde su razonamiento se mezcla con herramientas y con otras máquinas. Se volvieron mejores para razonar sobre su propio proceso y manipularlo. Y ahora son mucho más inteligentes, incluso sin verbalizar nada.

Dicho en llano: la empresa que construye estas máquinas afirma que su forma principal de saber qué están pensando pierde eficacia, y que todavía no tiene un reemplazo.

La defensa es también el motivo para acelerar

Acá el texto muestra la lógica del negocio, y conviene leerla sin escándalo. Pachocki sostiene que el argumento más fuerte para seguir entrenando modelos mucho más inteligentes, y rápidos es construir defensas contra otras inteligencias artificiales. Quien fabrica la llave se propone también como cerrajero. Ese razonamiento sostiene la carrera, la inversión y la posición de OpenAI en la frontera, y el propio Pachocki lo reconoce cuando explica que su empresa orienta la investigación hacia sistemas que se mejoren a sí mismos porque cree que es la única forma de no quedar atrás.

Y en el mismo ensayo pide que las frenadas voluntarias se vuelvan habituales, que los compromisos de seguridad de los laboratorios se conviertan en estándares obligatorios auditados por terceros, y que la coordinación entre países pase a ser prioridad de los gobiernos. Afirma que ningún laboratorio resolvió el control al nivel necesario para seguir escalando a máxima velocidad por mucho más tiempo. Ese “ningún laboratorio” incluye al suyo. El texto no resuelve esa tensión, y yo tampoco voy a resolverla por él.

Hoy la seguridad de los sistemas que sostienen la vida cotidiana depende de la buena voluntad de un puñado de empresas que fabrican la herramienta capaz de romperlos.