Más de 400 científicos de todo el mundo piden medidas más robustas de contención para la inteligencia artificial

Más de 400 científicos han firmado una carta abierta en la que insisten en la necesidad de medidas más robustas de contención que garanticen un uso seguro de la inteligencia artificial, especialmente la que está conectada a internet y tras los accesos no autorizados a sistemas de empresas externas que ya se han experimentado.

Incidentes de ciberseguridad como los protagonizados por los agentes de IA de OpenAI, Anthropic, Google y Meta que se han conocido desde el verano han puesto en tela juicio la seguridad de una tecnología que, por su capacidad de decisión y actuación autónomas, presenta graves riesgos para la sociedad.

Aunque se han citado problemas con la alineación de la IA -que el modelo haga lo que espera de él-, estos ocurrieron en entornos de pruebas aislados, conocidos como 'sandboxes', de donde los agentes lograron salir para moverse con mayor libertad por la internet abierta.

Por ello, un grupo de científicos de todo el mundo cree que avanzar hacia una IA segura "se requiere tanto una mejor alineación de la IA, que conduzca a un comportamiento más predecible de los modelos, como una tecnología de entornos aislados más sólida".

Así lo han indicado en una carta abierta respaldada por 415 firmantes, entre ellos siete científicos de España, trabajadores de IMDEA Software Institute y de la Universidad Carlos III de Madrid. En ella, además de sostener que "se necesita más investigación sobre seguridad de la IA y un mayor énfasis en las tecnologías y procedimientos de contención", también realizan una serie de propuestas.

Para el corto plazo, plantean el uso de "mecanismo robustos de aislamiento", también de internet, y un sistema de contención que ofrezca un equilibrio entre las potenciales acciones del modelo y la capacidad de los investigadores de predecirlas para que "no resulten en un fallo de seguridad".

Pero una de las barreras a las que se enfrenta la comunidad científica es precisamente lograr ese equilibrio, y para ello, recomienda a las empresas que "desarrollan, implementan y prueban modelos de IA con capacidad cibernética", que adopten sistemas de contención de alta seguridad.

También instan a crear un organismo internacional que "estandarice las mejores prácticas para la alineación y los enfoques de contención" que permita a los modelos de IA salir del entorno aislado, y que establecer un registro de los fallos de contención.

Por último, piden transparencia con los fallos de contención, para que se pueda aprender de ellos y las empresas responsables rindan cuentas ante los incidentes de seguridad protagonizados por sus IA.

Recientemente, Anthropic desconectó de internet todas las evaluaciones internas de sus modelos de IA al no poder asegurar la capacidad de monitorizar y controlar a sus agentes de IA sin que salgan del entorno para provocar ataques.

OpenAI, por su parte, también ha tenido que pausar temporalmente el entrenamiento de sus modelos de IA más capaces tras registrar una serie de incidentes de seguridad que incluyeron intentos de 'hackeo' de sitios web del Gobierno de Estados Unidos y accesos masivos a una web de la ONU.

Ambas acciones se conocieron después de que el director ejecutivo de Anthropic, Dario Amodei, compartiera la necesidad de frenar el ritmo de desarrollo de la IA por los riesgos catastróficos que podría tener para la humanidad, tras el hackeo de Hugging Face protagonizado por los modelos de OpenAI y el acceso no autorizado de Claude -su propia IA-- a tres organizaciones.