El asesor de IA del papa León XIV acusó a las grandes empresas tecnológicas de actuar como un cartel

El teólogo franciscano Paolo Benanti, principal asesor en inteligencia artificial del papa León XIV, acusó a los grandes laboratorios de IA de comportarse como un cartel que usa el miedo a una superinteligencia para blindar sus decisiones del escrutinio público.

En una entrevista reciente con la revista Wired, Benanti sostuvo que la obsesión de la industria con el riesgo existencial distrae de un problema más inmediato: fuera de un puñado de empresas, nadie tiene un voto real sobre cómo se construye y se gobierna la tecnología.

“La ética no puede pertenecer al directorio de una empresa. Tiene que discutirse y equilibrarse en el debate público”, afirmó el religioso, que agregó: “necesitamos una regulación democrática”.

Según Benanti, al presentar la IA como un problema demasiado complejo y peligroso para que opinen actores externos, los laboratorios más grandes terminan excluyendo a todos los demás de la conversación sobre su propio futuro.

Benanti no niega que existan riesgos reales en la tecnología. Su punto es distinto: sostiene que el temor a un escenario catastrófico se convirtió en una herramienta para mantener las decisiones de gobernanza dentro de las juntas directivas de un puñado de compañías.

Paolo Benanti ya había hecho el reclamo ante la Unión Europea

No es la primera vez que el asesor vaticano usa esa palabra. Ante la comisión de mercado interior del Parlamento Europeo, Benanti ya había advertido que dejar que las compañías se autorregulen equivale, en términos económicos clásicos, a un cartel.

En esa intervención sostuvo que algunos de los anuncios apocalípticos que hacen las empresas que producen estas tecnologías buscan impedir que los cuerpos políticos sancionen leyes, y reclamó el imperio de la ley frente a la autorregulación.

El religioso también describió a la inteligencia artificial como una forma de poder capaz de alterar el funcionamiento democrático normal de una sociedad, y advirtió que reemplazar el juicio humano por decisiones algorítmicas puede debilitar la rendición de cuentas.

Ante los legisladores europeos, Benanti comparó esa concentración de poder con los mecanismos que describió la filósofa Hannah Arendt en Los orígenes del totalitarismo sobre el ascenso del fascismo y el nazismo en Europa.

Si se elimina otra capa de fricción, la decisión humana, en favor de la decisión algorítmica, dijo, el resultado puede ser aún más despótico.

Por qué la IA está en el ojo del huracán

La entrevista de Paolo Benanti se conoció después de que el director ejecutivo de Anthropic, Dario Amodei, publicara un ensayo en el que propuso evaluaciones obligatorias de terceros antes de lanzar nuevos modelos y un freno a la destilación, la práctica por la cual un laboratorio rival entrena su propio sistema copiando las respuestas de un modelo ajeno.

Días antes, el investigador Jacob Coxon había renunciado a Anthropic con una advertencia pública: según él, los laboratorios de IA estaban jugando con la vida de la humanidad.

Coxon había trabajado antes en OpenAI, y un exinvestigador de Google DeepMind, Bilal Chughtai, hizo eco de esas mismas preocupaciones poco después.

El planteamiento de Benanti también coincide con el del director ejecutivo de la empresa canadiense Cohere, Aidan Gomez, quien en una publicación describió como un cartel con otro nombre la propuesta de que un puñado de laboratorios dominantes de Silicon Valley redacte las reglas de seguridad para toda la industria.

Gomez pidió descartar por completo una exención antimonopólica que esos laboratorios habían planteado, y citó como advertencia dos antecedentes: la designación en 1975 de un grupo reducido de calificadoras de crédito por parte del regulador bursátil de Estados Unidos y el régimen de exención automotriz que aplicó la Unión Europea en 1985.

Benanti, sin embargo, enfoca su reclamo menos en la competencia de mercado y más en la falta de participación pública en las decisiones sobre la tecnología.

El teólogo ya había participado en el Rome Call for AI Ethics, un documento firmado en 2020 junto a Microsoft, IBM y la organización de la ONU para la alimentación y la agricultura.

Benanti también contribuyó a Magnifica Humanitas, la primera encíclica de León XIV, presentada formalmente en el Vaticano el 25 de mayo ante teólogos y el cofundador de Anthropic Christopher Olah, y que advierte sobre la concentración del poder de la IA en manos de unos pocos y reclama que la tecnología sea desarmada, acogedora y accesible.

El propio León XIV describió ese momento como un eclipse del sentido de lo que significa ser humano, en referencia a la promoción sin freno de la tecnología a costa de la dignidad de las personas y al daño que causan los chatbots cuando explotan la necesidad humana de vínculos afectivos.

El asesor vaticano viene advirtiendo por distintos canales sobre los efectos de la IA en los sectores más vulnerables de la sociedad, no solo sobre la falta de control democrático que denunció ante el medio.

En una entrevista con la cadena británica BBC, dijo que la manipulación emocional que pueden ejercer estos sistemas sobre chicos y adolescentes podría ser peor que una adicción a la nicotina, el azúcar o la cocaína.