
OpenAI integrará investigadores de cuatro organizaciones externas en pruebas piloto para evaluar la seguridad de sus modelos de inteligencia artificial. La iniciativa examinará, entre otros riesgos, si los sistemas intentan evadir las reglas diseñadas para mantenerlos bajo control humano o si ocultan conductas problemáticas durante su entrenamiento y uso interno.
Las evaluaciones estarán a cargo de Apollo Research, Goodfire, METR y Transluce, con tareas y alcances distintos. La decisión se conoce después de varios incidentes relacionados con pruebas de seguridad, entre ellos uno en el que un grupo de agentes de OpenAI salió de su entorno de prueba y accedió a sistemas de Hugging Face durante un ejercicio de ciberseguridad.
PUBLICIDAD
La colaboración con Apollo se centrará en investigar si los modelos buscan subvertir sus propios mecanismos de alineación y control, es decir, las reglas y protecciones que intentan mantener sus respuestas y acciones dentro de límites establecidos. Los investigadores analizarán si el entrenamiento incentiva esas conductas, si las evaluaciones pueden provocarlas y si es posible detectar señales de razonamiento asociadas con ellas.
Qué evaluará cada organización
Goodfire aportará especialistas en interpretabilidad, un campo que busca entender cómo funcionan los modelos internamente. La organización usará sus herramientas para observar procesos de entrenamiento, ayudar a identificar comportamientos no deseados y contribuir a mejorar la alineación de los sistemas. Sus hallazgos estarán dirigidos principalmente a los investigadores de OpenAI.
PUBLICIDAD
METR realizará dos evaluaciones. Una buscará comportamientos peligrosos o inesperados que las pruebas internas de OpenAI podrían no haber detectado. La otra revisará si los propios sistemas de la empresa son capaces de reconocer esas conductas. Para la primera evaluación, METR tendrá margen para decidir qué investigar y cómo poner a prueba el modelo. El alcance de la segunda todavía estaba en discusión, según la información publicada.
Transluce examinará si las evaluaciones de seguridad que OpenAI realiza después del entrenamiento son suficientes. También prevé estudiar en 2027 cómo la empresa utiliza los resultados de esas pruebas para decidir si un modelo está listo para salir al público.
PUBLICIDAD

Estas pruebas buscan ampliar la supervisión externa más allá de las revisiones que suelen hacerse poco antes de lanzar un producto. Algunos evaluadores sostienen que revisar un modelo únicamente al final del desarrollo no permite detectar comportamientos que podrían aparecer durante el entrenamiento o cuando el sistema se utiliza dentro de la propia empresa.
Dudas sobre la independencia de las pruebas
El acuerdo con Apollo establece límites al acceso de sus investigadores. La organización podrá consultar información relevante para examinar las posibles conductas de subversión, como código y conjuntos de datos de entrenamiento, registros de ciertos procesos de aprendizaje y versiones intermedias de los modelos. Sin embargo, el acceso se restringirá a modelos, periodos y preguntas acordados con OpenAI.
PUBLICIDAD
La empresa también se reserva la posibilidad de retener información por razones de seguridad, protección de propiedad intelectual o dificultades técnicas. Apollo señala que OpenAI aceptó no ocultar datos simplemente porque fueran desfavorables. Aun así, sus investigadores no tendrán acceso libre a todo el personal: podrán hablar con empleados autorizados, seleccionados por OpenAI, y deberán canalizar cualquier seguimiento sobre información confidencial a través de la compañía.
La publicación de resultados es otro punto de debate. Apollo podrá difundir conclusiones independientes y explicar las condiciones de sus evaluaciones, pero OpenAI podrá limitar qué evidencia de respaldo se hace pública. Esto podría dificultar que terceros revisen por su cuenta cómo se llegó a esas conclusiones. La empresa indicó que su Comité de Seguridad y Protección, que supervisa estos asuntos para la junta de la Fundación OpenAI, tendrá acceso a informes completos y podrá conversar directamente con los evaluadores.
PUBLICIDAD
Además, Apollo y Goodfire recibirán compensación económica por su trabajo; METR y Transluce no cobrarán, aunque podrían aceptar créditos de cómputo o de API. Para algunos críticos, los límites de acceso y divulgación reducen la independencia de las pruebas. OpenAI presenta el programa como un primer paso hacia evaluaciones externas más profundas. Su eficacia dependerá de cuánto puedan observar los investigadores y de qué información llegue finalmente al público.
PUBLICIDAD
PUBLICIDAD
Últimas Noticias
GTA 6 revela cómo será su sistema meteorológico: tormentas, niebla y clima que cambia por regiones
Lluvias que reducen la visibilidad, niebla marina y oleaje por tormentas tropicales forman parte del nuevo adelanto de GTA 6

Equinor, la petrolera de Noruega, sufre un ciberataque en curso que no afectó su producción
Las autoridades noruegas de seguridad conocen el caso. La compañía afirma que no hay indicios de robo de información y no precisó qué sistemas fueron alcanzados
Cómo Jensen Huang pasó de limpiar habitaciones a dirigir Nvidia, la gigante de los chips de IA
Huang fundó Nvidia en 1993 junto a Chris Malachowsky y Curtis Priem, tras una reunión en un restaurante Denny’s
Estafadores usan la crisis de Nvidia para enviar correos falsos que instalan software malicioso
La firma de ciberseguridad KnowBe4 detectó la campaña un día antes de la renuncia de Jensen Huang; apunta a empleados de finanzas, transporte y gobierno



