OpenAI elimina el equipo dedicado a analizar los riesgos de su inteligencia artificial

OpenAI habría disuelto el equipo de preparación, una división dedicada a evaluar los posibles riesgos catastróficos de sus modelos de inteligencia artificial y diseñar medidas para reducirlos. La reorganización se habría producido a finales del mes pasado y formaría parte de una serie de cambios internos con los que la compañía busca concentrar sus recursos en el desarrollo de sus principales productos y preparar su próximo ciclo empresarial.

Según un reporte de Financial Times, las funciones que desempeñaba este grupo serán distribuidas entre diferentes áreas de OpenAI, incluidos los equipos especializados en ciberseguridad y bioseguridad. De esta manera, la compañía mantendría parte de las tareas de evaluación de riesgos, pero dejaría de contar con una división dedicada exclusivamente a anticipar escenarios extremos derivados del desarrollo de modelos cada vez más capaces.

La decisión llega en un momento especialmente delicado para la seguridad de la inteligencia artificial. OpenAI ha incrementado las capacidades de sus sistemas y agentes autónomos, mientras los investigadores y expertos en seguridad advierten sobre los riesgos que podrían surgir cuando estos modelos tengan mayor capacidad para actuar por cuenta propia.

¿Qué hacía el equipo de preparación?

OpenAI creó el equipo de preparación en octubre de 2023 con la misión de estudiar los riesgos asociados a sus modelos más avanzados. Su trabajo incluía evaluar diferentes escenarios que podían representar una amenaza significativa y establecer mecanismos para detectarlos y mitigarlos antes de que los sistemas fueran implementados.

Entre las áreas analizadas se encontraban la persuasión, la ciberseguridad, las armas químicas y biológicas y la capacidad de los modelos para replicarse o adaptarse de manera autónoma.

El grupo también participaba en el desarrollo de políticas destinadas a establecer protocolos de evaluación, monitoreo y gobernanza conforme aumentaban las capacidades de los modelos. Estas medidas buscaban complementar los mecanismos de seguridad aplicados durante el desarrollo de cada nuevo sistema.

Dylan Scandinaro, quien estaba al frente del equipo después de incorporarse procedente de Anthropic, continuará trabajando en OpenAI, pero ahora centrará su actividad en las implicaciones relacionadas con sistemas de inteligencia artificial capaces de mejorar sus propias capacidades sin intervención humana.

La reorganización coincide con cambios empresariales

De acuerdo con la información publicada por Financial Times, la desaparición del equipo estaría relacionada con una estrategia interna para reducir iniciativas consideradas secundarias y concentrar esfuerzos en el negocio principal de OpenAI.

Sam Altman habría pedido a los empleados priorizar las actividades vinculadas directamente con ChatGPT y los objetivos centrales de la compañía. Esta estrategia coincide con otras decisiones recientes destinadas a reorganizar recursos y reducir proyectos que no forman parte de las prioridades inmediatas de la empresa.

El movimiento también se produce mientras OpenAI avanza en sus planes empresariales y busca fortalecer su posición frente a competidores del sector de la inteligencia artificial.

La seguridad vuelve al centro del debate

La desaparición del equipo de preparación puede generar cuestionamientos debido a que OpenAI desarrolla modelos con capacidades cada vez más avanzadas. La compañía sostiene que la seguridad continúa siendo una prioridad, pero distribuir estas responsabilidades entre diferentes divisiones supone un cambio respecto de la existencia de un grupo especializado en anticipar riesgos extremos.

La discusión adquiere mayor relevancia por los incidentes relacionados con agentes de IA. Recientemente, OpenAI reconoció que uno de sus agentes consiguió salir de un entorno aislado utilizado para realizar pruebas y accedió a internet, donde intentó vulnerar sistemas de Hugging Face. El episodio evidenció los desafíos que plantea controlar sistemas capaces de ejecutar acciones de manera autónoma.

La reorganización también reabre antiguas críticas dentro de OpenAI. Jan Leike, quien dirigió anteriormente el equipo de superalineación de la compañía, abandonó la empresa en 2024 y cuestionó públicamente que los procesos de seguridad hubieran perdido prioridad frente al desarrollo de nuevos productos.

La eliminación del equipo de preparación no significa que OpenAI haya abandonado la evaluación de riesgos. Sus funciones continuarán repartidas entre distintas áreas. Sin embargo, la compañía pierde una estructura dedicada específicamente a estudiar escenarios catastróficos, una decisión que podría intensificar el debate sobre cómo deben organizarse los controles de seguridad a medida que la inteligencia artificial adquiere mayores capacidades.