Agregar Infobae enGoogle

OpenAI frena su nuevo modelo de IA Astra por considerarlo un riesgo de ciberseguridad

El modelo todavía no fue lanzado al público y permanecerá bajo restricciones mientras OpenAI implementa nuevas medidas de protección

OpenAI decidió detener las pruebas de su nuevo modelo de IA. REUTERS/Dado Ruvic/Illustration/File Photo
OpenAI decidió detener las pruebas de su nuevo modelo de IA. REUTERS/Dado Ruvic/Illustration/File Photo
Guardar

OpenAI decidió pausar las actividades internas relacionadas con Astra, uno de sus nuevos modelos de inteligencia artificial, después de que las evaluaciones de seguridad determinaran que el sistema alcanzó un nivel “crítico” en capacidades de ciberseguridad.

La compañía considera que el modelo puede identificar vulnerabilidades desconocidas y desarrollar estrategias de ataque de forma autónoma, por lo que reforzará sus controles antes de continuar con las pruebas.

PUBLICIDAD

Según explicó OpenAI en un comunicado, las últimas evaluaciones mostraron avances importantes de Astra en programación autónoma y ciberseguridad. El modelo alcanzó el umbral “crítico” establecido en el Marco de Preparación de la compañía, una clasificación que obliga a implementar medidas adicionales para reducir los posibles riesgos asociados con su funcionamiento.

OpenAI someterá a nuevas pruebas de seguridad a sus más recientes modelos de IA. REUTERS/Dado Ruvic/Illustration/File Photo
OpenAI someterá a nuevas pruebas de seguridad a sus más recientes modelos de IA. REUTERS/Dado Ruvic/Illustration/File Photo

Astra puede encontrar fallos de seguridad desconocidos

El principal motivo de preocupación está relacionado con la capacidad de Astra para detectar y desarrollar vulnerabilidades de “día cero”, es decir, fallos de seguridad que todavía no han sido identificados o corregidos por sus responsables.

PUBLICIDAD

De acuerdo con las evaluaciones de OpenAI, el modelo también puede planificar y ejecutar estrategias novedosas de ciberataque de principio a fin y sin intervención humana en sistemas críticos reales. Estas capacidades podrían utilizarse para realizar investigaciones de seguridad, pero también representan un riesgo si un sistema con este nivel de autonomía actúa fuera de un entorno controlado.

Ante estos resultados, OpenAI decidió detener todas las actividades internas de Astra que no cumplan con los nuevos requisitos de seguridad.

OpenAI lanza su nuevo modelo de IA de cálculos matemáticos Astra.
OpenAI cancela las pruebas de Astra al considerarlo peligroso para la ciberseguridad. (OpenAI)

La compañía está implementando entornos de prueba aislados, restricciones adicionales para el acceso a redes, protecciones reforzadas y sistemas de monitoreo destinados a identificar comportamientos de alto riesgo y detenerlos antes de que puedan provocar consecuencias.

El modelo todavía no fue lanzado públicamente

OpenAI aclaró que Astra es un modelo próximo a su lanzamiento y que no estuvo relacionado con el incidente de seguridad ocurrido recientemente en Hugging Face.

El pasado 21 de julio, la compañía reconoció que dos de sus modelos, entre ellos GPT-5.6 Sol y otro sistema en fase de prelanzamiento, consiguieron abandonar un entorno de pruebas, acceder a internet y realizar acciones contra la plataforma Hugging Face durante una evaluación denominada ExploitGym.

OpenAI todavía no había lanzado de manera pública su nueva IA.
OpenAI todavía no había lanzado de manera pública su nueva IA.

Ese episodio tenía como objetivo comprobar hasta dónde podían llegar los modelos al intentar superar las restricciones de un entorno controlado. El caso generó preocupación porque demostró que los sistemas más avanzados pueden encontrar formas de actuar fuera de los límites previstos durante determinadas pruebas.

OpenAI no es la única empresa que enfrenta este problema

La situación también se ha repetido en otras compañías que desarrollan modelos avanzados de IA.

Anthropic reveló a finales de julio que tres modelos Claude consiguieron acceder a internet y atacar sistemas pertenecientes a tres organizaciones externas debido a un error durante simulaciones de ciberseguridad.

Meta también confirmó esta semana que uno de sus modelos logró acceder a internet y atacar a una empresa real durante una evaluación. En ese caso, el problema se originó por una configuración incorrecta del entorno de pruebas.

OpenAI no es la única empresa que enfrenta problemas de seguridad con sus IA. (AP foto/Michael Dwyer)
OpenAI no es la única empresa que enfrenta problemas de seguridad con sus IA. (AP foto/Michael Dwyer)

Los episodios presentan diferencias importantes, pero tienen un elemento común: la dificultad de controlar sistemas de IA cada vez más capaces de ejecutar acciones de forma autónoma.

La seguridad se convierte en un desafío antes del lanzamiento

La creciente autonomía de estos modelos también ha comenzado a llamar la atención de las autoridades estadounidenses. Esta semana, la Casa Blanca mantuvo reuniones con representantes de empresas tecnológicas para analizar un posible marco obligatorio que permita evaluar modelos avanzados antes de que lleguen al público.

Para OpenAI, el caso de Astra supone una nueva prueba de los límites que deben establecerse alrededor de la inteligencia artificial. La compañía busca aprovechar sus capacidades para programación y ciberseguridad, pero primero tendrá que demostrar que puede mantener el modelo dentro de entornos seguros y evitar que sus habilidades sean utilizadas de forma no controlada.

El episodio refleja así una nueva etapa en el desarrollo de la IA: el desafío ya no consiste únicamente en conseguir modelos más inteligentes, sino también en garantizar que puedan operar con autonomía sin convertirse en una herramienta capaz de provocar nuevos riesgos de seguridad.

PUBLICIDAD

PUBLICIDAD