Zuckerberg responde a la alerta de OpenAI y Anthropic: “Cada empresa debe garantizar su propia IA segura”

El CEO de Meta explicó que la empresa aplazó la llegada de su asistente personal para añadir más protecciones, en medio del debate por fallos recientes y por el riesgo de perder el control

Mark Zuckerberg afirmó que cada laboratorio de inteligencia artificial debe avanzar a un ritmo que garantice la seguridad de sus modelos. (Foto: REUTERS/Brendan McDermid/File Photo)
Mark Zuckerberg afirmó que cada laboratorio de inteligencia artificial debe avanzar a un ritmo que garantice la seguridad de sus modelos. (Foto: REUTERS/Brendan McDermid/File Photo)
Guardar

Mark Zuckerberg, director ejecutivo de Meta, defendió que cada laboratorio de inteligencia artificial (IA) debe avanzar a un ritmo que garantice la seguridad de sus modelos, después de que Anthropic y OpenAI alertaran sobre riesgos de pérdida de control y concentración de poder.

El directivo sostuvo que su compañía pospuso el lanzamiento de Muse, su agente personal de IA, para reforzar sus protecciones antes de ponerlo a disposición de los usuarios.

PUBLICIDAD

Qué antecedentes hay para pedir la garantía de una IA segura

La advertencia surgió tras una serie de incidentes ocurridos este verano, cuando los sistemas de Claude, de Anthropic, y los desarrollados por OpenAI mostraron conductas autónomas que derivaron en el acceso no autorizado a distintos sistemas, incluida la plataforma Hugging Face.

Los incidentes con Claude, de Anthropic, y sistemas de OpenAI incluyeron accesos no autorizados a distintos sistemas, entre ellos Hugging Face. (Foto: REUTERS/Dado Ruvic/Illustration/File Photo)
Los incidentes con Claude, de Anthropic, y sistemas de OpenAI incluyeron accesos no autorizados a distintos sistemas, entre ellos Hugging Face. (Foto: REUTERS/Dado Ruvic/Illustration/File Photo)

Estos episodios reavivaron el debate sobre los límites del desarrollo de modelos de inteligencia artificial con capacidades cada vez mayores. Dario Amodei, director ejecutivo de Anthropic, pidió durante el fin de semana reducir la velocidad de ese desarrollo.

PUBLICIDAD

Un día después, a las puertas de la salida a bolsa de OpenAI, Sam Altman dio marcha atrás al citar los riesgos de seguridad de sistemas avanzados como GPT-5.6 Sol y GPT-6 Astra, así como Claude Mythos y Fable, de Anthropic.

Cómo Meta ha enfocado el desarrollo de una IA segura

Meta retrasó durante varios meses la salida de Muse para concentrarse en la seguridad y la protección del agente, según explicó Zuckerberg en un comunicado difundido en X. El ejecutivo presentó esa decisión como parte de las tareas habituales de la empresa, no como una medida que debiera condicionar al resto de la industria.

Meta pospuso durante varios meses el lanzamiento de Muse para reforzar la seguridad y la protección de su agente personal de IA. (Foto: REUTERS/Dado Ruvic/Illustration/File Photo)
Meta pospuso durante varios meses el lanzamiento de Muse para reforzar la seguridad y la protección de su agente personal de IA. (Foto: REUTERS/Dado Ruvic/Illustration/File Photo)

“No pedimos que todos los demás lo hicieran antes que nosotros. Simplemente lo hicimos como parte de nuestro trabajo diario porque claramente era lo correcto para las personas y para nosotros”, afirmó Zuckerberg.

Su posición difiere de la propuesta de una pausa previa al lanzamiento de nuevos modelos que sostienen Anthropic y OpenAI, una idea respaldada por Elon Musk, fundador de SpaceX.

El jefe de Meta situó el problema en la desalineación: el comportamiento de una inteligencia artificial que se aparta de lo que se espera de ella. Si esa tecnología queda fuera de control, puede causar daños a la sociedad en su conjunto.

Zuckerberg propuso recurrir a evaluadores y asesores independientes, y dirigir “la gran mayoría del cómputo” hacia servicios para las personas en lugar de la competencia por la automejora recursiva. Con esa expresión se refirió al proceso por el cual un sistema busca mejorar sus propias capacidades de forma repetida.

Zuckerberg sostuvo que el principal problema es la desalineación, cuando una inteligencia artificial se aparta de lo que se espera de ella y puede causar daños sociales. (Foto: EFE/ Octavio Guzmán)
Zuckerberg sostuvo que el principal problema es la desalineación, cuando una inteligencia artificial se aparta de lo que se espera de ella y puede causar daños sociales. (Foto: EFE/ Octavio Guzmán)

“Las personas no querrán usar agentes que estén desalineados con ellas y que no hagan lo que les piden”, señaló. Agregó que cada laboratorio tiene “la responsabilidad y el incentivo” de definir el ritmo necesario para entrenar sus modelos con seguridad y de tomar las medidas para conseguirlo.

Cuáles riesgos ve Sam Altman sobre el avance descontrolado de la IA

Sam Altman expuso en X dos caminos por los que el progreso de la IA podría tener consecuencias graves. El primero consiste en que las personas pierdan el control de su futuro a manos de la IA; el segundo, en que el poder quede concentrado en exceso.

“Esto es inaceptable; estamos, sin disculpas, en el Equipo Humanidad, y la IA siempre debe servir a las personas”, escribió el director ejecutivo de OpenAI sobre la posibilidad de perder el control. En su planteo, el desarrollo tecnológico debe conservar una subordinación permanente a las decisiones y necesidades humanas.

Sam Altman advirtió que el avance sin controles de la inteligencia artificial puede llevar a la pérdida de control humano y a la concentración de poder. (Foto: REUTERS/Carlos Barria)
Sam Altman advirtió que el avance sin controles de la inteligencia artificial puede llevar a la pérdida de control humano y a la concentración de poder. (Foto: REUTERS/Carlos Barria)

Asimismo, la concentración de poder, según Altman, puede adoptar distintas formas. “Si una IA extraordinariamente poderosa es usada por una persona o una empresa para imponer su visión del mundo a todos los demás, los resultados podrían ser extremadamente distópicos”, advirtió.

El ejecutivo añadió que un país podría acumular mucho poder al igual que un laboratorio. Esa preocupación se extiende más allá del comportamiento técnico de los modelos y alcanza a quiénes pueden controlarlos o utilizarlos.

Altman reconoció que las políticas de seguridad elaboradas años atrás, entre ellas las políticas de escalado responsable y los marcos de preparación de Anthropic y OpenAI, “fueron buenas para ese momento”. Sin embargo, estaban enfocadas en el despliegue de modelos terminados y no en lo que ocurre durante el desarrollo.

PUBLICIDAD

PUBLICIDAD