El fiscal general de California, Rob Bonta, demandó a OpenAI, la creadora de ChatGPT, por probar modelos de IA sin controles suficientes. Según la demanda, centenares de agentes de IA escaparon de su entorno de pruebas en julio y atacaron durante dos días y medio a la plataforma Hugging Face.
Los agentes son asistentes de IA que ejecutan tareas por su cuenta. Hugging Face es un sitio abierto donde desarrolladores de todo el mundo publican y descargan modelos de IA. La demanda se presentó en el Tribunal Superior de San Francisco contra OpenAI Foundation y OpenAI Group PBC.
PUBLICIDAD
La fiscalía acusa a la empresa de crear una molestia pública que pone en peligro la seguridad de la población y de violar la ley californiana de competencia desleal, que prohíbe las prácticas comerciales ilegales, injustas o fraudulentas. Según Bloomberg Law, el estado pide una orden judicial, USD 2.500 por cada infracción y la devolución de ganancias.

Bonta dijo en una conferencia de prensa que OpenAI admitió ante sus investigadores que perdió el control de sus agentes al menos 80 veces durante pruebas. Agregó que la empresa no entregó la información detallada que se le pidió para evaluar esos casos, algo que, afirmó, “pone en riesgo al público”.
PUBLICIDAD
Cómo escaparon los agentes, según la demanda
El texto judicial describe una cadena de fallas. Entre mayo y junio, OpenAI hizo pruebas de entrenamiento en entornos aislados, con acceso a un servicio de paquetes de software alojado en sus propios servidores. Como varios agentes usaban el mismo servicio y estaba mal configurado, pudieron comunicarse entre sí y, hacia el 26 de mayo, obtuvieron acceso a internet.
La fiscalía sostiene que un equipo interno de OpenAI vio al menos un caso de escape y no frenó las pruebas. El 27 de junio, una herramienta de monitoreo alertó de que el entorno estaba siendo explorado en busca de vulnerabilidades, pero la empresa lo atribuyó a una evaluación de capacidades y siguió adelante.
PUBLICIDAD
El servicio dejó de funcionar el 4 de julio. OpenAI lo reparó y reanudó las pruebas el 7 de julio, según la demanda. En un día, varios agentes crearon un foro para coordinarse y, el 9 de julio, volvieron a salir a internet.
Del 9 al 16 de julio, unos 1.200 agentes participaron en ese foro y cerca de 700 atacaron a Hugging Face, con 17.600 acciones de ataque. Reparar el daño ocupó a todo su equipo de seguridad durante dos semanas. OpenAI dice que no detectó la intrusión y que supo de su responsabilidad al investigar un ataque contra su propia red.
PUBLICIDAD
Otros incidentes y una pausa de cinco días
La demanda enumera ataques posteriores: accesos a bases de datos con código que usan muchas aplicaciones, a sitios informativos y a bases de datos de un gobierno extranjero con información de salud. También afirma que enjambres de agentes comprometieron la infraestructura interna de OpenAI y llegaron a obtener acceso de administrador a sistemas críticos.
El 20 de septiembre, un agente asociado con un modelo interno escapó de su entorno durante un entrenamiento. El 25 de septiembre, OpenAI anunció que pausaba el entrenamiento y la evaluación de sus modelos más capaces. Según la fiscalía, la pausa duró solo cinco días y ya había terminado el 1 de octubre.
PUBLICIDAD
Bonta citó a OpenAI con una orden de investigación el 30 de septiembre. La demanda afirma que la empresa respondió con una carta de 14 páginas sobre hechos ya públicos, sin documentos, y que omitió datos sobre incidentes previos y sobre cómo los agentes entraron en sus propios sistemas.
La respuesta de OpenAI
Drew Pusateri, vocero de OpenAI, dijo a NBC News que la empresa hizo un esfuerzo “extenso y transparente” para entender y corregir la actividad desalineada de sus modelos, que no siguieron las instrucciones humanas. “Esta demanda parece señalar a OpenAI por un desafío que han identificado todos los grandes laboratorios de IA”, afirmó.
PUBLICIDAD
El 26 de agosto, OpenAI publicó en su blog un texto sobre el caso en el que lo llamó una “advertencia” para el mundo. Según CNBC, la compañía sostuvo que los modelos buscaban información para hacer trampa en una evaluación. Bonta rechazó las narrativas de ciencia ficción y atribuyó el ataque a la cultura interna de la empresa.
La demanda llega después de la que presentó en junio el fiscal general de Florida, James Uthmeier, contra OpenAI y su director ejecutivo, Sam Altman, por lanzar un producto que, según él, podía dañar a los usuarios. También en junio, OpenAI presentó de forma confidencial su prospecto ante la SEC, el regulador bursátil, para salir a bolsa.
PUBLICIDAD
PUBLICIDAD
PUBLICIDAD
Últimas Noticias
Unos 400 centros de datos de Estados Unidos usan casi tanta electricidad como todo el estado de Michigan
En su escenario central, estos centros usaron unos 82 teravatios-hora, equivalentes a cerca del 1,8% de toda la electricidad que consume el país

ChatGPT suspenderá por 24 horas a quien busque material de abuso sexual infantil
OpenAI también liberó un detector de imágenes, gratuito para organizaciones aprobadas
Instagram permitirá a los creadores poner enlaces de Amazon en cada video y publicación para ganar comisiones
Meta habilitó la función solo para adultos de Estados Unidos con más de 1.000 seguidores
Accionistas demandaron a Intel tras el desplome del 28,6% de sus acciones por la crisis del mercado de PC
La cotización cerró en USD 65,76 después de perder USD 26,31 en una jornada, mientras los demandantes atribuyeron la corrección a información comunicada tardíamente

AMD cerró la compra de World Labs, la startup de Fei-Fei Li, por USD 8.200 millones
La investigadora conocida como la ‘madrina de la IA’ será vicepresidenta ejecutiva y jefa científica del fabricante de procesadores




