OpenAI trabaja en un sistema de apagado automático para sus modelos de IA

OpenAI está trabajando en capacidades de apagado automático para sus modelos de inteligencia artificial (IA), como ha asegurado a dos congresistas demócratas de Estados Unidos en respuesta a las preocupaciones que plantearon por el 'hackeo' a Hugging Face.

La firma tecnológica afirma que ha reforzado las medidas de seguridad de sus modelos más avanzados con nuevas salvaguardas que se adaptan a sus capacidades para garantizar que hacen lo que se espera de ellos y evitar nuevos 'hackeos' autónomos como el de Hugging Face.

Precisamente, este incidente demostró la capacidad de atacar sistemas de la IA autónoma --lo que se conoce como agentes--, lo que llevó al congresista demócrata Greg Casar, junto a decenas de miembros del Congreso de Estados Unidos, a exigir a OpenAI que infomaran sobre los fallos de seguridad recientes. Esta petición, hecha el pasado 10 de agosto, se extendió también a Anthropic.

En su respuesta, remitida tanto a Casar como a la también congresista demócrata Doris Matsui, OpenAI compartió los trabajos que habían hecho desde que descubrieron que el incidente de Hugging Face lo habían protagonizado sus modelos, incidiendo en las medidas de seguridad y la detención temporal de los trabajos de algunos de los sistemas de IA.

También revela que esos trabajos incluyen el desarrollo de un sistema de apagado automático. Sin embargo, pese a este adelanto, Casar ha señalado, en otra carta con fecha de 2 de septiembre, que su respuesta "fue insuficiente", alegando que "no han publicado los registros como se solicitaba en la carta". Aunque reconoce que "revela importantes errores de seguridad por parte de OpenAI y del software de terceros en el que se basó, incluyendo un aislamiento inadecuado y prácticas de ciberseguridad deficientes".