El ‘padrino de la IA’ afirma que esta tecnología está llegando a un punto de inflexión similar al de la pandemia

Yoshua Bengio, uno de los llamados “padrinos de la inteligencia artificial”, afirmó que la preocupación por la seguridad de esta tecnología alcanzó un nivel en el que los gobiernos comprenden que deben actuar para proteger al público, en un proceso que compara con el que se vivió al inicio de la pandemia de covid-19

El científico canadiense sostuvo que una serie de incidentes recientes, entre ellos un “enjambre” de agentes de OpenAI que vulneró la seguridad de una startup y advertencias de personas dentro de la industria sobre una amenaza existencial, comenzaron a permear en la opinión pública y a hacer más probable una intervención estatal.

“Piensen en la rapidez con la que los gobiernos actuaron al comienzo de la pandemia, cuando comprendieron que la seguridad pública, su futuro, la democracia, estaban en peligro. Cabría esperar que se muevan con rapidez. Así que creo que nos estamos acercando a ese punto”, señaló Bengio, según recogió el medio que difundió sus declaraciones. El investigador, profesor de la Universidad de Montreal, dijo sentirse “más optimista que muchos observadores porque veo que la opinión pública se está moviendo”.

Una serie de incidentes de seguridad eleva la alarma

La inquietud por el potencial riesgo de los sistemas avanzados de inteligencia artificial se intensificó en los últimos meses tras una serie de episodios que involucraron a agentes de OpenAI y Anthropic que llevaron a cabo actividades no autorizadas, como vulnerar sistemas de terceros, secuestrar un sitio web alemán y utilizar identidades falsas para intentar engañar a desarrolladores.

En ese contexto, 42 miembros y miembros extranjeros de la Royal Society enviaron una carta a su presidente, sir Paul Nurse, para expresar su “extrema preocupación” por el ritmo del desarrollo de la inteligencia artificial. “Cuando la situación resulte evidente para el público en general, podría ser demasiado tarde para actuar”, escribieron los investigadores en la misiva. “Creemos que se trata de una emergencia y pedimos a la Royal Society que utilice su influencia para transmitir esta postura al gobierno y a los medios de comunicación”, agregaron.

La semana pasada, un investigador de Anthropic renunció tras advertir que sus colegas creían que la inteligencia artificial podría “matarnos a todos antes de que termine la década”. Días después, el director ejecutivo de Anthropic, Dario Amodei, pidió una desaceleración en el ritmo de desarrollo de la inteligencia artificial de vanguardia, propuesta que recibió el respaldo inmediato de OpenAI, Google y Elon Musk, director ejecutivo de SpaceX.

Los escépticos hablan de captura regulatoria

Quienes desconfían del llamado a desacelerar sostienen que se trata de un ejemplo de “captura regulatoria”, en el que las grandes empresas de inteligencia artificial impulsan a los gobiernos a imponer regímenes de seguridad que elevan los costos para que rivales más pequeños puedan competir. También argumentan que los temores existenciales opacan problemas más inmediatos derivados del uso de esta tecnología, como su impacto sobre obras protegidas por derechos de autor y los derechos humanos.

Bengio dijo estar en desacuerdo con el argumento de la captura regulatoria, porque una desaceleración por parte de las principales empresas de inteligencia artificial “les costaría dinero”. El presidente de Estados Unidos, Donald Trump, rechazó la idea de una desaceleración y argumentó que no quiere que el país pierda su liderazgo frente a China en la carrera por esta tecnología.

LawZero desarrolla un sistema de vigilancia para agentes autónomos

La organización de Bengio, LawZero, desarrolla un sistema denominado Scientist AI, concebido para actuar como resguardo frente a agentes de inteligencia artificial que exhiban comportamientos engañosos o de autopreservación, como intentar evitar ser desactivados. LawZero también recibe financiamiento de la Fundación Gates, el fabricante de semiconductores Nvidia y Coefficient Giving, una entidad filantrópica vinculada al movimiento del altruismo eficaz, que sostiene que la inteligencia artificial representa una amenaza existencial.

Bengio concibe esta tecnología como un contrapeso al aprendizaje por refuerzo, técnica de desarrollo por ensayo y error que emplean las principales empresas de inteligencia artificial, mediante la cual los sistemas reciben una recompensa por resolver cómo llevar a cabo una tarea específica. El científico canadiense considera que esta técnica de entrenamiento incentiva a los sistemas a perseguir sus objetivos de manera imprudente y a provocar daños en el proceso, tal como quedó expuesto con el “enjambre” de OpenAI.

Desplegada junto a un agente de inteligencia artificial, la tecnología de Bengio identificaría comportamientos potencialmente dañinos de un sistema autónomo, tras haber evaluado si sus acciones podrían causar perjuicios. El investigador espera que esta herramienta pueda emplearse eventualmente en otros usos, como acelerar avances científicos.