OpenAI incorporará investigadores externos para detectar si sus modelos de IA intentan evadir controles

Apollo Research, Goodfire, METR y Transluce evaluarán distintos riesgos de los modelos, desde conductas inesperadas hasta intentos de debilitar sus mecanismos de seguridad

OpenAI contrata investigadores externos para que revisen sus modelos de IA. REUTERS/Dado Ruvic/Illustration/File Photo/File Photo
OpenAI contrata investigadores externos para que revisen sus modelos de IA. REUTERS/Dado Ruvic/Illustration/File Photo/File Photo
Guardar

OpenAI integrará investigadores de cuatro organizaciones externas en pruebas piloto para evaluar la seguridad de sus modelos de inteligencia artificial. La iniciativa examinará, entre otros riesgos, si los sistemas intentan evadir las reglas diseñadas para mantenerlos bajo control humano o si ocultan conductas problemáticas durante su entrenamiento y uso interno.

Las evaluaciones estarán a cargo de Apollo Research, Goodfire, METR y Transluce, con tareas y alcances distintos. La decisión se conoce después de varios incidentes relacionados con pruebas de seguridad, entre ellos uno en el que un grupo de agentes de OpenAI salió de su entorno de prueba y accedió a sistemas de Hugging Face durante un ejercicio de ciberseguridad.

PUBLICIDAD

La colaboración con Apollo se centrará en investigar si los modelos buscan subvertir sus propios mecanismos de alineación y control, es decir, las reglas y protecciones que intentan mantener sus respuestas y acciones dentro de límites establecidos. Los investigadores analizarán si el entrenamiento incentiva esas conductas, si las evaluaciones pueden provocarlas y si es posible detectar señales de razonamiento asociadas con ellas.

OpenAI usará investigadores externos para revisar el control de sus IA. REUTERS/Dado Ruvic/Illustration/File Photo
OpenAI usará investigadores externos para revisar el control de sus IA. REUTERS/Dado Ruvic/Illustration/File Photo

Qué evaluará cada organización

Goodfire aportará especialistas en interpretabilidad, un campo que busca entender cómo funcionan los modelos internamente. La organización usará sus herramientas para observar procesos de entrenamiento, ayudar a identificar comportamientos no deseados y contribuir a mejorar la alineación de los sistemas. Sus hallazgos estarán dirigidos principalmente a los investigadores de OpenAI.

PUBLICIDAD

METR realizará dos evaluaciones. Una buscará comportamientos peligrosos o inesperados que las pruebas internas de OpenAI podrían no haber detectado. La otra revisará si los propios sistemas de la empresa son capaces de reconocer esas conductas. Para la primera evaluación, METR tendrá margen para decidir qué investigar y cómo poner a prueba el modelo. El alcance de la segunda todavía estaba en discusión, según la información publicada.

Transluce examinará si las evaluaciones de seguridad que OpenAI realiza después del entrenamiento son suficientes. También prevé estudiar en 2027 cómo la empresa utiliza los resultados de esas pruebas para decidir si un modelo está listo para salir al público.

Varias organizaciones investigarán las IA de OpenAI. (AP foto/Jeff Chiu)
Varias organizaciones investigarán las IA de OpenAI. (AP foto/Jeff Chiu)

Estas pruebas buscan ampliar la supervisión externa más allá de las revisiones que suelen hacerse poco antes de lanzar un producto. Algunos evaluadores sostienen que revisar un modelo únicamente al final del desarrollo no permite detectar comportamientos que podrían aparecer durante el entrenamiento o cuando el sistema se utiliza dentro de la propia empresa.

Dudas sobre la independencia de las pruebas

El acuerdo con Apollo establece límites al acceso de sus investigadores. La organización podrá consultar información relevante para examinar las posibles conductas de subversión, como código y conjuntos de datos de entrenamiento, registros de ciertos procesos de aprendizaje y versiones intermedias de los modelos. Sin embargo, el acceso se restringirá a modelos, periodos y preguntas acordados con OpenAI.

La empresa también se reserva la posibilidad de retener información por razones de seguridad, protección de propiedad intelectual o dificultades técnicas. Apollo señala que OpenAI aceptó no ocultar datos simplemente porque fueran desfavorables. Aun así, sus investigadores no tendrán acceso libre a todo el personal: podrán hablar con empleados autorizados, seleccionados por OpenAI, y deberán canalizar cualquier seguimiento sobre información confidencial a través de la compañía.

OpenAI busca que su IA tenga más controle de seguridad. REUTERS/Dado Ruvic/Illustration
OpenAI busca que su IA tenga más controle de seguridad. REUTERS/Dado Ruvic/Illustration

La publicación de resultados es otro punto de debate. Apollo podrá difundir conclusiones independientes y explicar las condiciones de sus evaluaciones, pero OpenAI podrá limitar qué evidencia de respaldo se hace pública. Esto podría dificultar que terceros revisen por su cuenta cómo se llegó a esas conclusiones. La empresa indicó que su Comité de Seguridad y Protección, que supervisa estos asuntos para la junta de la Fundación OpenAI, tendrá acceso a informes completos y podrá conversar directamente con los evaluadores.

Además, Apollo y Goodfire recibirán compensación económica por su trabajo; METR y Transluce no cobrarán, aunque podrían aceptar créditos de cómputo o de API. Para algunos críticos, los límites de acceso y divulgación reducen la independencia de las pruebas. OpenAI presenta el programa como un primer paso hacia evaluaciones externas más profundas. Su eficacia dependerá de cuánto puedan observar los investigadores y de qué información llegue finalmente al público.

PUBLICIDAD

PUBLICIDAD