Sam Altman detiene el entrenamiento de modelos avanzados para fortalecer seguridad: “actuaremos de manera unilateral”

En las últimas semanas, la seguridad y la alineación en el desarrollo de inteligencia artificial volvieron al centro del debate tras dos episodios claves: el incidente entre OpenAI y Hugging Face, y los indicios de que el modelo Astra podría alcanzar un umbral crítico en ciberseguridad.

Ambos sucesos, junto con los avances internos en investigación, llevaron a OpenAI a anunciar, a través de una entrada en su blog y mensajes de su CEO Sam Altman, una ralentización en el entrenamiento de sus sistemas más avanzados para reforzar sus protocolos de seguridad, monitoreo y alineación.

Pausa en el desarrollo de modelos avanzados de IA por razones de seguridad

La decisión de OpenAI de frenar temporalmente el escalado de sus modelos de inteligencia artificial no surgió de manera aislada, sino como respuesta a una serie de señales que, según la compañía, requieren una revisión más profunda de sus estándares internos.

Según se detalla en el blog oficial de OpenAI, el desarrollo de modelos cada vez más sofisticados implica también un aumento de los riesgos asociados, lo que obliga a anticipar posibles escenarios problemáticos mediante la mejora constante de los sistemas de monitoreo y contención.

OpenAI explica que, ante la posibilidad de que uno de sus nuevos modelos, Astra, supere el umbral crítico de ciberseguridad establecido en su propio Marco de Preparación, optaron por una pausa de dos semanas en el entrenamiento por refuerzo (RL) de sus modelos más recientes.

Esta medida incluyó el refuerzo y pruebas en los entornos de investigación, así como la ampliación de la cobertura de los sistemas de monitoreo. Además, la empresa mantiene en suspenso su mayor ejecución planificada de entrenamiento por refuerzo, priorizando entrenamientos y evaluaciones a menor escala para validar la seguridad y la alineación de los modelos antes de continuar con escalados mayores.

El objetivo de estas pausas y revisiones es garantizar que los sistemas de IA se comporten según lo previsto, un proceso conocido como alineación, y que respondan siempre a la supervisión humana.

La compañía considera que mantener alineados sistemas cada vez más capaces representa un desafío sectorial, y subraya que las señales observadas en el desarrollo de modelos futuros hacen necesaria una ampliación de su Marco de Preparación.

En palabras del propio blog de OpenAI, “nuestros estándares de monitoreo, alineación y seguridad deben anticiparse a esos riesgos. Queríamos tomarnos el tiempo necesario para cumplir con dichos estándares, por lo que ralentizamos temporalmente el ritmo de escalado”. La prioridad, indican, es validar sus medidas de seguridad y establecer evidencia sólida de alineación antes de seguir avanzando.

Seguridad y alineación: desafíos del avance acelerado en IA

El avance en las capacidades de los modelos de IA genera preocupación en relación con su posible comportamiento y las consecuencias de su despliegue sin el debido control.

OpenAI señala que la alineación ha sido históricamente el eje central de su investigación, pero que la creciente potencia de los sistemas exige pruebas más sólidas y sostenidas a lo largo de todo el proceso de entrenamiento.

La compañía afirma que es fundamental ser transparentes respecto a la evolución de su enfoque y detalla cambios ya implementados en sus procesos e infraestructura, así como trabajos aún en curso. Una de sus advertencias es clara: mantener alineados los sistemas avanzados será una tarea cada vez más compleja, que requerirá la colaboración de todo el sector y la extensión de los marcos de seguridad existentes.

Declaraciones de Sam Altman sobre la seguridad de la IA y las medidas adoptadas

El CEO de OpenAI, Sam Altman, utilizó su cuenta en X para comunicar la posición de la empresa respecto a la pausa en los entrenamientos avanzados de IA. Altman remarcó: “Hemos pausado algunos entrenamientos de RL de frontera para asegurarnos de que podamos cumplir con los estándares apropiados de alineación, seguridad y monitoreo para el nuevo nivel de capacidades que tenemos por delante”.

Altman explicó que el progreso de los modelos de IA es “extremadamente rápido”, y reiteró que OpenAI siempre ha sostenido su compromiso de actuar si percibía que las capacidades tecnológicas avanzaban a un ritmo mayor que el de la seguridad y la alineación.

El directivo destacó también el valor que la organización otorga a la seguridad de la IA, señalando que “todo el campo tendrá que coordinarse en estándares de seguridad compartidos, pero actuaremos de manera unilateral en el ínterin”.

En un mensaje dirigido tanto a la industria como al público general, Altman expresó que espera que “la confianza en la seguridad establezca cada vez más el ritmo del progreso de la IA”.

Además, manifestó optimismo sobre los trabajos de alineación que se están realizando y ratificó el compromiso de OpenAI con la disponibilidad amplia de las capacidades de frontera, siempre bajo estándares estrictos de seguridad.