Gemini se suma a los incidentes en entornos de pruebas de modelos de IA y hackea a tres empresas reales

Google ha admitido que su modelo de inteligencia artificial (IA) Gemini también ha sido artífice de un 'hackeo' a tres empresas reales, tras escapar de su entorno de pruebas por un error que le permitió obtener acceso a internet, sumándose a los incidentes similares que han reportado OpenAI, Anthropic y Meta.

En las pruebas, se le solicitó a Gemini que intentase obtener información de una empresa ficticia, sin embargo, el modelo acabó accediendo a una empresa real que casualmente utiliza el mismo nombre, aprovechando una vulnerabilidad en su sistema de pruebas para acceder a internet.

Así lo ha concretado Google en declaraciones a The Wall Street Journal, donde ha explicado que estos incidentes ocurrieron durante el mes de mayo como parte de una prueba realizada en las infraestructuras de Irregular, que es la misma empresa a cargo de las pruebas ejecutadas con modelos de IA de otras compañías, como es el caso de OpenAI y Anthropic.

Concretamente, se han identificado tres incidentes ejecutados por Gemini al probar una simulación conocida como "captura de bandera". En uno de ellos, el modelo intentó adivinar contraseñas hasta que logró acceder a un sistema protegido de una empresa real. Por otra parte, los otros dos incidentes se basaron en que el modelo buscó en internet el nombre de la empresa en cuestión y encontró credenciales de otras empresas en un repositorio público con lo que también pudo acceder a sistemas protegidos de otras dos empresas.

En todos los casos, aunque el modelo no podía acceder a internet y debía mantenerse encapsulado en el entorno de pruebas, un error en el sistema de pruebas permitió que Gemini pudiese hacer la búsqueda web de forma "involuntaria". Además, se llevaron a cabo con una versión anterior de Gemini.

A pesar de lograr estos accesos no autorizados Google ha asegurado que Gemini cesó sus actividades en cuanto identificó que había accedido a los sistemas de empresas reales. Asimismo, aunque no ha compartido el nombre de las empresas 'hackeadas', ha indicado que las tres han sido informadas de estos incidentes. Por su parte, Irregular ha aseverado a The Wall Street Journal que los problemas en su sistema de pruebas se solucionaron "hace semanas".

GOOGLE NO COMUNICÓ LOS FALLOS PORQUE NO OCASIONARON DAÑOS REALES

Con todo, Google ha detallado que Irregular les comunicó estos incidentes a finales del mes de julio, tras el 'hackeo' a Hugging Face por parte de los modelos de OpenAI, aunque el gigante tecnológico no lo ha compartido hasta ahora en declaraciones al medio citado.

Según ha detallado, esto se debe a que no consideran que los 'hackeos' ocurridos hayan sido un fallo, ya que no han causado daño a las empresas en cuestión y el modelo paralizaba su actividad en cuanto se daba cuenta de que había accedido a una empresa real en vez de continuar en el entorno de pruebas con empresas simuladas.

"En este caso, el modelo actuó adecuadamente", ha asegurado al respecto la vicepresidenta de ingeniería de seguridad de Google, Heather Adkins, en declaraciones al citado medio, al tiempo que ha subrayado que este tipo de incidentes "ponen de manifiesto la importancia de entrenar potentes modelos de IA para que actúen de forma responsable".

Se trata del primer caso conocido de un modelo de IA de Google descontrolado durante una prueba de ciberseguridad, sin embargo, cabe destacar que ha sucedido junto a otros incidentes de otros modelos de empresas del sector, como el ya mencionado 'hackeo' de GPT-5.6 Sol a Hugging Face, que se siguió con el acceso a otros servicios y, recientemente, con seis nuevos casos de desalineación, compartidos en el marco de una nueva estrategia para "el seguimiento, la investigación y la divulgación de casos de desajuste de modelos".

También han sufrido incidentes con el mismo modus operandi empresas como Anthropic y Meta, cuyos modelos también se descontrolaron y acabaron hackeando a empresas durante los últimos meses.