Yoshua Bengio, profesor de la Universidad de Montreal, lideró acaso el reporte de seguridad más importante a nivel mundial en 2025, que ha tenido actualizaciones este año, debido a la rapidez y magnitud de los cambios.

Sus principales conclusiones matizan aspectos positivos y negativos:

— Las capacidades de la IA de uso general han seguido mejorando, especialmente en matemáticas, programación y funcionamiento autónomo. Los principales sistemas de IA obtuvieron resultados de medalla de oro en preguntas de la Olimpiada Internacional de Matemáticas. En cuanto a programación, actualmente los agentes de IA pueden realizar con fiabilidad tareas en las que un programador humano tardaría alrededor de media hora, frente a los menos de 10 minutos de hace un año. No obstante, el rendimiento sigue siendo irregular, y los principales sistemas siguen fallando en algunas tareas aparentemente sencillas.

— Las mejoras en las capacidades de la IA de uso general proceden cada vez más de técnicas aplicadas después del entrenamiento inicial de un modelo. Estos métodos de «post-entrenamiento» incluyen el perfeccionamiento de los modelos para tareas específicas y la posibilidad de usar más poder de cómputo al generar salidas. A su vez, el uso de mayor poder de cómputo para el entrenamiento inicial sigue mejorando las capacidades de los modelos.

— La adopción de la IA ha sido más rápida que la de tecnologías anteriores, como el ordenador personal, y en la actualidad al menos 700 millones de personas utilizan los principales sistemas de IA semanalmente. En algunos países, más del 50% de la población utiliza la IA, si bien en gran parte de África, Asia y Latinoamérica las tasas de adopción se mantienen probablemente por debajo del 10%.

— Los avances en las capacidades científicas de la IA han aumentado la preocupación por su uso indebido para desarrollar armas biológicas. Varias empresas de IA decidieron lanzar nuevos modelos en 2025 con salvaguardias adicionales porque las pruebas pre-despliegue no podían descartar la posibilidad de que los modelos ayudaran significativamente a actores principiantes a desarrollar este tipo de armas.

— Ha surgido más evidencia del uso de sistemas de IA en ciberataques en el mundo real. Los actores maliciosos y los grupos asociados a Estados están utilizando herramientas de IA para facilitar operaciones cibernéticas.

— Cada vez es más difícil realizar pruebas de seguridad fiables antes del despliegue. Cada vez es más frecuente que los modelos distingan entre los entornos de prueba y el despliegue en el mundo real, y que aprovechan los resquicios en las evaluaciones. Esto significa que las capacidades peligrosas podrían pasar desapercibidas antes del despliegue.

— Los compromisos de la industria con la gobernanza de la seguridad han aumentado. En 2025, 12 empresas publicaron o actualizaron marcos de seguridad de IA de vanguardia (Frontier AI Safety Frameworks), documentos que describen cómo prevén gestionar los riesgos a medida que construyen modelos más capaces. La mayoría de las iniciativas de gestión de riesgos siguen siendo voluntarias, pero algunas jurisdicciones están empezando a formalizar algunas prácticas como requisitos legales.

Bengio también cree en el uso benevolente de la IA, si el mundo de decisores públicos se “pone las pilas de humanidad” que hacen falta. Vale aclarar que el informe es anterior a la salida de los modelos Mythos y Claude, que han revolucionado la temática en las últimas semanas. Por eso será crucial las actualizaciones que se den en la próxima cumbre global auspiciada por ITU -la Unión Internacional de Comunicaciones- en Ginebra, el próximo julio.

Con un amplio raid mediático, el profesor Geoffrey Hinton, quien es también Premio Nobel 2024, tiene una mirada angustiante y pesimista: advierte sobre los riesgos sistémicos de modelos desalineados de los propósitos para los cuales fueron creados, sostiene que la IA ya ha desarrollado subjetividad -lo cual abre el tema de si tiene o no conciencia posible-, y asimismo ha aventurado algunas opiniones sobre el futuro del trabajo que no siempre resultaron acertadas. Por ejemplo hace un lustro pronosticó que la próxima ocupación a extinguirse sería la de los radiólogos, porque serían reemplazados por modelos avanzados de lectura de imágenes por la IA; pero en la actualidad dicha ocupación no muestra en todo el mundo signos de desaparición sino de reconversión: se pueden realizar más diagnósticos por imágenes, lo cual abre la puerta a mejores tratamientos, más valoración del trabajo de los radiólogos y una reconversión profunda que lleva a aumentar capacidades mediante el trabajo humano asistido por las máquinas. Tras haber trabajado durante muchos años en Google desarrollando redes neuronales, aboga ahora por un encuadre ético de la IA.

El otro gran experto es Jean LeCun, de la Universidad de New York. Dice sencillamente que continuar apostando a modelos de IA Generativa es una tragedia para la humanidad, porque no llegará a resultados efectivos simplemente profundizando la estrategia que la hace aparecer como un “loro estadístico”. Que no se trata de predecir el lenguaje y adivinar qué palabra vendrá detrás de otra. Que es necesario desarrollar otro tipo de tecnología: la IA-Mundo, que sea capaz de tener sentido común, razonar, planificar, medir riesgos y esencialmente analizar imágenes. En términos prácticos sostiene que el ser humano cuando piensa no representa palabras sino imágenes, y que para lograr mejorar los niveles de desarrollo de la IA hay que emprender el mismo camino. Tras dejar Meta, donde fue jefe de investigación científica, ahora está desarrollando su propio emprendimiento orientado en este sentido.

¿Cómo matizar el humo de la verdad, la esperanza del simple márketing, la teoría conspirativa de la evidencia científica?

En el Atlas de la IA para el Desarrollo Humano de América Latina profundizo un tema crucial que tiene que ver con estas opiniones divergentes, aunque calificadas. Parto del análisis de los actores para-multilaterales y la auto-regulación, y lo complejo que resulta desplegar capacidades institucionales confiables. ¿Cómo hacer cumplir algún tipo de regulación global sobre actores globales que no son países, pero que en muchos casos tienen un presupuesto de R&D más alto que el presupuesto público de países desarrollados? Por ejemplo, Meta y Google invierten más en R&D que los países del G-7, y Open AI tiene una capacidad de cómputo 25 veces superior al Reino Unido. El dinamismo en el funcionamiento del mercado y las múltiples alianzas sobre territorios, industrias y eslabones de la cadena de valor, también complejizan la tarea regulatoria. Por un lado, los dueños de las grandes corporaciones tecnológicas exigen mayor regulación pública y por el otro a menudo hay reticencia a documentar los desarrollos específicos que promueven, de modo que sean auditables con transparencia, lo que ha dado lugar a señalamientos en materia de datawashing y meras campañas de responsabilidad social corporativa y relaciones públicas, sin vocación real de brindar información precisa sobre los desarrollos.

En este contexto, las alianzas globales de la sociedad civil también impulsan iniciativas de mayor apertura a escala planetaria, en coordinación con el sector público y también con los grandes jugadores corporativos.

La autorregulación empresarial es variada. Google; Microsoft; Meta, Amazon e IBM han fundado la coalición Partnership on AI -PAI- para avanzar en la gobernanza responsable y las mejores prácticas en IA y han publicado principios para la evaluación de modelos fundacionales, amén de avanzar en compromisos ambientales y éticos. En el marco del Foro de Modelos de Frontera, las principales compañías tecnológicas pusieron en marcha la experiencia de red teaming, similar a la práctica tradicional en ciberseguridad, que simula ataques realistas para probar vulnerabilidades en todo el sistema, incluyendo datos, infraestructura y aplicaciones, no solo en las salidas del modelo. También Microsoft con Bing Chat, OpenAI con GPT-4, Google DeepMind y Anthropic analizaron públicamente amenazas fronterizas para la bioseguridad de la IA, que sin duda alguna debería constituir el principal tema de acuerdo de las grandes potencias sobre la materia, porque aún está fresca en la mente planetaria la tragedia del COVID.

Aquí el rol de los Estados y las alianzas que promuevan resulta un paso indispensable. Trascender el mecanismo de auditorías controladas por las propias empresas es algo obvio, teniendo en cuenta que la falta de documentación al gran público de los procesos de auditorías está justificada por los secretos comerciales o la propiedad de las patentes. Como contracara también resulta importante superar los potenciales

conflictos de interés y la restricción de incorporar a la comunidad de investigadores académicos como parte de las auditorías externas, algo que no está permitido en el marco del Acta de Servicios Digitales de la Comisión Europea, por ejemplo. También se pueden extraer lecciones aprendidas de la proliferación de indicadores de ESG -Ambiente, Gobernanza y Sociales-, como así también de las experiencias de las evaluaciones de impacto ambientales, de derechos humanos, de protección de datos, fiscales y de privacidad.

Dependiendo de los tiempos, las modalidades y sus alcances, las instancias de evaluación enfrentan variados desafíos. Se trata de un proceso en pleno desarrollo, aún en su infancia, con múltiples cuestiones a atender y corregir.

No es cuestión de frenar la innovación, sino de hacerla responsable. A cada cual, según su nivel de injerencia. Por eso desde la Academia de Ciencias Sociales del Vaticano hablamos de promover una IA con “ética por diseño”, y no con “adicción por diseño”. No es un cambio de palabras sino un giro copernicano a lo que se viene desplegando como modelo de negocio de las grandes plataformas.

Hay miles de científicos que están trabajando para ampliar la frontera de lo posible y llevar descubrimientos de una IA para el bien y para la vida. Su voz también debe ser escuchada. Por eso, más allá de los “tres chiflados de la ciencia” que mencioné -y dicho con todo respeto, porque realizan un aporte inmenso a la tecnología-, existe un coro de voces que se alzan como “cuarta voz” profética en este juego de la IA y los avances científicos. Es la voz del Papa Francisco, que cito en la introducción filosófica del Atlas:

“Hay cosas que deben ser cambiadas con replanteos de fondo y transformaciones importantes. Sólo una sana política podría liderarlo, convocando a los más diversos sectores y a los saberes más variados. De esa manera, una economía integrada en un proyecto político, social, cultural y popular que busque el bien común puede “abrir camino a oportunidades diferentes, que no implican detener la creatividad humana y su sueño de progreso, sino orientar esa energía con cauces nuevos… Este es precisamente el caso de la inteligencia artificial. Corresponde a cada uno hacer un buen uso de ella, y corresponde a la política crear las condiciones para que ese buen uso sea posible y fructífero”.

Y es la voz del Papa León XIV, que también con valentía está tomando el tema con suprema prioridad: “Será crucial permitir que los jóvenes aprendan a usar estas herramientas con inteligencia propia, abiertos a la búsqueda de la verdad, a una vida espiritual y fraterna, ampliando sus sueños y los horizontes de sus decisiones maduras. Apoyamos su deseo de ser diferentes y mejores, porque ahora más que nunca es evidente que se necesita un cambio profundo en nuestra visión del crecimiento… Para ello, se necesita una acción coordinada y concertada que involucre a la política, las instituciones, las empresas, las finanzas, la educación, las comunicaciones, la ciudadanía y las comunidades religiosas. Todos estos actores están llamados a cumplir un compromiso común asumiendo esta responsabilidad compartida. Un compromiso que antepone cualquier lucro e intereses creados, cada vez más concentrados en manos de unos pocos”.

En suma, se requiere una polifonía de la IA, que no sea tecnocrática sino humanista. Sin sabiduría comunitaria, nadie se salva solo, ni aún con la mejor de las inteligencias artificiales.

3 PREGUNTAS CLAVES PARA EL PRESENTE-FUTURO

1. ¿Qué ocurre con las capacidades estatales cuando los diseñadores de los grandes modelos de lenguaje saben más que cualquier funcionario público?
2. ¿Cómo evitar que los talentos más calificados del sistema de ciencia público en IA no terminen migrando a las grandes tecnológicas?
3. ¿Cómo establecer incentivos adecuados para que lo anterior no ocurra, y que se pueda dar una colaboración virtuosa entre los sistemas estatales y privados, atendiendo que una mirada imparcial, no sesgada y transparente resulta indispensable para los procesos de auditoría y salvaguardas de la IA?

LECTURAS COMPLEMENTARIAS

Ada Lovelace Institute. (n.d.). AI regulation: Learn from history.

Academia Pontificia de Ciencias Sociales. Von Braun, J., Archer, M. S., Reichberg, G. M., & Sánchez Sorondo, M. (Eds.). (2021). Robotics, AI, and humanity: Science, ethics, and policy. Springer.

Beliz, Gustavo, editor. Atlas de Inteligencia Artificial para el Desarrollo Humano. Capítulo 1.

Beliz, Gustavo. Una Gobernanza Local y Global para la IA.

Data & Society Research Institute. (2021). Assembling accountability: Algorithmic Frontier Model Forum. (2024). FMF joins USAISI Consortium as a founding member. https://www.frontiermodelforum.org/updates/fmf-joins-aisic/impact assessment for the public interest.

Frontier Model Forum. (2024). FMF joins USAISI Consortium as a founding member.

Gupta, A., Uuk, R., Mallah, R., & Pye, F. (2023). Emerging AI governance is an opportunity for business leaders to accelerate innovation and profitability. Tech Policy Press.

León XIV. (2025, 17 de junio). Mensaje del Santo Padre León XIV a los participantes en la Segunda Conferencia Anual sobre Inteligencia Artificial, Ética y Gobernanza Empresarial. La Santa Sede.

El magnífico poema El Laberinto de Jorge Luis Borges presagia la discusión actual sobre la IA: “No habrá nunca una puerta/ Estás adentro/y el alcázar abarca el universo/y no tiene ni anverso ni reverso/ni externo muro ni secreto centro./No esperes que el rigor de tu camino/que tercamente se bifurca en otro, /que tercamente se bifurca en otro, /tendrá fin. Es de hierro tu destino/ como tu juez”

En ese laberinto estamos hoy atrapados. Se trata de avizorar caminos de salida, atendiendo tanto a los riesgos como a las oportunidades.

Aquí la calidad de los datos resulta esencial, sobre todo teniendo en cuenta que gran parte de los datos de la IA producidos por los seres humanos comienzan a agotarse, y empiezan a ser reemplazados por datos sintéticos, producidos por bots. En el Atlas de Inteligencia Artificial para el Desarrollo Humano hablo de poli-deudas de datos, que condicionan los modelos de IA. (ver recuadro) y de la necesidad de equilibrar propuestas que no absoluticen el derecho de propiedad sobre los datos, con instancias de su uso para el bien común, con varios ejemplos: creando más datos públicos a través de las ciudades inteligentes con múltiples sensores; extender las instancias a través de las cuales los ciudadanos puedan donar sus datos para ser usados en causas de interés público; favorecer la portabilidad para hacer más accesibles los datos a ser empleados en investigaciones científicas; eliminar restricciones absolutas que llevan a las agencias públicas a trabajar en silos sin posibilidad de cooperación para compartir datos que permitan una mejor evaluación de las políticas tanto a nivel estatal como de la sociedad civil; conjugar todo lo anterior con el empleo de datos sintéticos que permitan llenar las lagunas de ausencia de información clave; promover el empleo de los datos censales y la adquisición de datos del sector privado para robustecer el diseño de las políticas públicas y la actividad científica.

El “producto bruto de datos” se postula como una nueva métrica para evaluar el impacto de los datos en la economía de los países, considerando factores como el volumen de datos generados, su uso, su accesibilidad y la complejidad de las actividades digitales. Esta clasificación sugiere que la capacidad de un país para participar en la economía de datos no depende únicamente del volumen de datos generados, sino también de cómo estos datos son accesibles y utilizados para desarrollar aplicaciones de IA. Esto es especialmente importante para el caso de América Latina y el Caribe, tal como lo demuestra la experiencia del Centro Nacional de IA de Chile, para desarrollar modelos que incluyan la riqueza del idioma español y de pueblos originarios, como así también datos referidos al capital natural regional.

Existen incluso las advertencias formuladas en torno de la posibilidad de que se llegue a un agotamiento de datos para entrenar a los grandes modelos computacionales, de continuar con las actuales tendencias de uso. Se ha estimado que el volumen efectivo de texto público generado por humanos, ajustado en función de la calidad y la repetición, destinado al entrenamiento de la IA ronda los 300 billones de tokens. Si la tendencia se mantiene, los modelos de lenguaje agotarán por completo este volumen entre hacia 2032, o incluso antes si se someten a un entrenamiento excesivo. (ver cuadro).

Salir del laberinto de la IA también implica considerar superar la barrera de una democracia incivil, donde se agita la polarización y la violencia, y también una “adicción por diseño” de los grandes modelos de lenguaje, en lugar de una “ética por diseño”, tal cual lo planteamos como prioridad esencial en la declaración final de la cumbre de expertos celebrada en la Academia de Ciencias Sociales del Vaticano. En el último encuentro celebrado hace unas semanas, tuve la oportunidad de conversar también con mi colega en la Academia el ex primer ministro de Italia, Mario Draghi, quien es el autor de un informe de competitividad de gran repercusión en Europa, donde señaló la importancia de diseñar políticas robustas que conjuguen innovación y desarrollo industrial, propósito para el cual los datos -entre otras cosas- resultan esenciales.

El tercer riesgo tiene que ver con la polarización del mercado laboral, sobre lo cual aún no existen estadísticas contundentes y sobre todo se carece de metodologías robustas para medir los impactos en América Latina, región donde coexiste el empleo formal con altos niveles de informalidad. Distinguir entre exposición a la IA de las ocupaciones y efectivo desplazamiento de los seres humanos en sus trabajos, requiere rigurosidad científica y, nuevamente, buenos datos, no sólo cuantitativos o que surjan de modelos matemáticos sofisticados, sino además datos del entorno laboral, de la cultura organizacional y de la posibilidad de acuerdos que concreten la incorporación de la IA en el entorno organizativo. Aquí debemos recordar que estamos frente a una tecnología de propósito general, de cuyo buen uso dependerá el futuro de la humanidad. En los últimos tiempos, por ejemplo, se han dado fenómenos de “now casting”, monitoreo al instante de la evolución del mercado de trabajo en función de la adopción de aplicaciones agénticas, como es el caso de Anthropic con su Indice Económico y de Open AI con su GDPval, una nueva evaluación que mide el rendimiento de los modelos en tareas de valor económico en el mundo real de 44 ocupaciones.

El cuarto punto a considerar entre los riesgos es una “IA Maquiavelo”, que considere que “el fin justifica los medios”. Es decir, un gran modelo de lenguaje o agente que, cuando se le da una orden, no duda en alcanzarla así tenga que generar en el camino conductas antiéticas, ilegales o incluso violentas. Por supuesto, el entrenamiento ex ante y ex post es clave para evitar estas situaciones, y la supervisión humana al final del camino resulta indispensable, como lo establece el estudio “Desalineamiento agéntico: cómo los modelos de lenguaje podrían convertirse en amenazas internas”. En este trabajo, como en tantos otros, se estudia la posibilidad de que los agentes IA puedan desplegar capacidades de chantaje, espionaje corporativo o riesgos sistémicos de ciber-seguridad, como también lo supone el nuevo modelo Mythos, que generó, entre otras cosas, una reunión de urgencia entre el secretario del Tesoro americano y los principales actores del mundo financiero y corporativo global.

El quinto punto tiene que ver con una “IA Darwin”, que se adapte a los entornos, adquiera propiedades que no fueran pensadas originalmente, y que avance hacia una suerte de “nueva especie” de cuya evolución, aunque parezca ciencia ficción, los propios gigantes desarrolladores comienzan a hablar. Sin ir más lejos, Anthropic ha redactado una “Constitución para Claude”, donde considera sus principios de seguridad y utilidad, pero también advierte sobre la necesidad de preservar el bienestar y la identidad y la psicología de los modelos y de evitar manipulaciones de parte de los usuarios. En otras palabras, este ejemplo alimenta el concepto de “IA Ceno” que desarrollo en el Atlas: un paso posterior al clásico concepto de “Antropoceno”, donde el ser humano influye y altera la corteza terrestre y su medio ambiente. Esto ahora ha pasado a otro estadio de evolución civilizatoria, para introducirnos en una “terra incógnita” donde comenzamos a convivir con “especies digitales”, que corren el riesgo de hiper-manipular no sólo nuestro comportamiento y salud mental sino también nuestros genes a través de la computación biológica, entre otras cuestiones.

Finalmente, estos modelos grandes de lenguaje y agentes de IA han desarrollado tácticas de “fuga de la cárcel” (jail breaking). Es decir, son capaces de superar las barreras de límites que se les imponen en el momento de su diseño, y desarrollan capacidades que, por ejemplo, disimulan un comportamiento correcto en el momento en el cual están siendo evaluados, para luego salirse esos límites en el momento en el cual dejaron de ser medidos en su comportamiento.

Podríamos preguntarnos si todo esto resulta una barrera infranqueable y si la IA puede ser educada éticamente y alimentada con cláusulas de “buen comportamiento”. Es justamente de lo cual habla también la “Constitución de Claude”. Procura que los modelos avanzados de IA puedan reconocer no sólo el “qué” se les pide, sino además el “por qué” se les solicita, aprendiendo a comprender mejor el entorno social, político y económico en el cual se desenvuelven. Podemos mencionar las licencias de uso responsable de IA incorporan cláusulas conductuales —Behavioral-use Clauses— para impedir usos dañinos de modelos, plataformas robóticas, sistemas IoT o sensores médicos. Sólo hacia fines de 2023, más de 40.000 repositorios de software y modelos ya habían adoptado licencias que buscan prohibir usos como la generación de desinformación, la discriminación, la vigilancia militar, el procesamiento biométrico abusivo, la automatización de decisiones legales vinculantes, la generación de malware o la prestación de consejos médicos sin acreditación ni supervisión. Se trata de construir una suerte de etiqueta equiparable con los “alimentos orgánicos” y trazables que buscamos consumir para una dieta saludable.

Como podemos advertir, las posibilidades son múltiples, pero se trata de no jugar con fuego. Vayamos por un instante a la mitología. Para salir del laberinto, Icaro construyó alas de cera para volar, que terminaron quemándose por su cercanía con el sol. Dependerá de los seres humanos -y sobre todo de los líderes tecnológicos y gobiernos de todo el mundo capaces de establecer reglas claras que no se traspasen-, para que las alas de la IA vuelen a una altura que contribuyan para el desarrollo humano integral, en lugar de conducirnos al derrumbe como civilización.

3 preguntas éticas claves para el presente-futuro

1. ¿Qué ocurre cuando el concepto de “ética” difiere entre visiones religiosas, filosóficas y antropológicas? ¿Cómo entrenar a la IA en un concepto de “ética universal”, que sea ampliamente aceptado más allá de las particularidades culturales?
2. ¿Considerás que habría demanda apropiada para la oferta de “modelos orgánicos” de IA, que promuevan una “alimentación saludable” en el uso de la tecnología, más allá de la búsqueda insaciable de consumismo y de likes y clicks que llevan a contabilizar la presencia en redes más allá de su buen uso?
3. Qué tipo de incentivos se podrían diseñar, por ejemplo, desde el sector público, en el momento de realizar compras estatales de sistemas de IA, para que se garanticen no sólo cláusulas de seguridad estandarizadas sino se promuevan acciones positivas para el medio social y comunitario?

Lecturas complementarias

Anthropic. (2026). Índice económico de Anthropic: comprender los efectos de la inteligencia artificial en la economía. Anthropic.

“Anthropic. (2025, 20 de junio). Desalineamiento agéntico: cómo los modelos de lenguaje podrían convertirse en amenazas internas. Anthropic.

Anthropic. (s. f.). La Constitución de Claude: nuestra visión del carácter de Claude. Anthropic. Recuperado el 29 de abril de 2026.

McDuff, D., Korjakow, T., Cambo, S., Benjamin, J. J., Lee, J., Jernite, Y., Muñoz Ferrandis, C., Gokaslan, A., Tarkowski, A., Lindley, J., Feder Cooper, A., & Contractor, D. (2024). On the standardization of behavioral use clauses and their adoption for responsible licensing of AI (arXiv:2402.05979). arXiv.

Nicholas, G. (2024, 13 de agosto). Grounding AI policy: Towards researcher access to AI usage data. Center for Democracy & Technology.

OCDE. (2025). Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno. OECD Publishing.

OpenAI. (2025, 25 de septiembre). Medición del rendimiento de nuestros modelos en tareas del mundo real. OpenAI.

Sklavenitis, D., & Kalles, D. (2024). Medición de la deuda técnica en plataformas de competición basadas en IA [Measuring technical debt in AI-based competition platforms]. arXiv.

Precisamente el día del aniversario de la partida del Papa Francisco, fue coincidente con la presentación en Madrid, en la sede de la SEGIB, del Atlas de Inteligencia Artificial para el Desarrollo Humano, junto a 30 expertos de todo el mundo, con el secretario Andrés Allamand, Mariano Sigman, Almudena Fernández, Sebastián Ceria y Carme Artigas, entre otros. En el diálogo de alto nivel sobrevoló un espíritu alejado de la tecnocracia y muy cercano a aquello que el Papa Francisco expresó con claridad: necesitamos que la IA deje de ser una torre de Babel para aprender un nuevo lenguaje: el de la Algor-ética. Es decir, no el diseño de los grandes modelos de lenguaje en función de la adicción, la permanencia en la pantalla, la máquina publicitaria de vender avisos o el juego adictivo; sino muy por el contrario el alineamiento de la IA en función de valores de desarrollo humano esenciales.

El Papa Francisco lo expresó con claridad, en Italia, en junio de 2024, en un discurso histórico frente a las naciones del G-7: “La inteligencia artificial podría permitir una democratización del acceso al saber, el progreso exponencial de la investigación científica, la posibilidad de delegar a las máquinas los trabajos desgastantes; pero, al mismo tiempo, podría traer consigo una mayor inequidad entre naciones avanzadas y naciones en vías de desarrollo, entre clases sociales dominantes y clases sociales oprimidas, poniendo así en peligro la posibilidad de una “cultura del encuentro”.

La llamó a este avance tecnológico “fascinante y tremendo al mismo tiempo”.

¿Es posible este paso? ¿Se le puede enseñar algor-ética a la IA? En el Atlas repasamos varias de estas alternativas. La primera de todas consiste en superar lo que se podría llamar “plato de tallarines regulatorio”. Es decir, muchas normas, enredadas entre sí, a veces contradictorias, a veces diferentes entre países fronterizos, y a menudo confusas. Todo lo cual favorece la arbitrariedad, desprotege a los usuarios, posibilita poca transparencia y también establece incentivos negativos para los grandes proyectos de inversión. El Papa Francisco, como líder mundial, lo señaló con claridad: se requiere una norma simple global, de cumplimiento obligatorio, con sanciones efectivas, que no sólo prevenga los daños que provoca una IA desalineada, sino que también establezca incentivos para un buen desarrollo de la IA para mejorar la situación social mundial. En otras palabras, que la IA abandone la carrera armamentística y comience a correr la carrera para la paz.

Promediando el 2025, había más de 1.500 normativas sobre IA en todo el mundo, pero lamentablemente muchas carecen de armonización y aplicación práctica, como lo muestra el cuadro del Atlas. Muchas veces, se regula lo mínimo, ahogando la iniciativa y la creatividad. Y no se atiende a lo esencial, que entre las primeras prioridades tiene que ver con la adicción. Frente a esta situación, comienza a surgir una suerte de reacción desde la base -un “multilateralismo desde abajo” -al decir del Papa Francisco-, que implica un principio de subsidiariedad de la sociedad civil, que promueve múltiples iniciativas para atender a la problemática del daño de salud mental en las pantallas, a las situaciones de acoso escolar, a la pornografía en línea, o a los discursos de odio sistemáticos.

Aquí entran en juego principios de libertad de expresión, que deben conjugarse con principios de equidad y respeto a la dignidad humana. Pongamos por ejemplo el derecho a la conectividad, que hoy resulta esencial para realizar múltiples actividades; al mismo tiempo, existe un “derecho a la desconexión”, para no tener que realizar tareas laborales fuera de horario o de modo que genere un burn-out; o para no tener que estar siendo monitoreado de modo permanente por múltiples plataformas que miden la productividad de modo obsesivo e invasivo, en lo que se ha denominado un “taylorismo digital”.

Esta reacción desde abajo también se da en múltiples iniciativas tecnológicas que buscan, precisamente, mitigar los riesgos existenciales que pueden promoverse con la IA, en un cuadro que tiene gran complejidad cuando se trata de modelos de frontera, como también es analizado en el Atlas. Allí repasamos cómo la academia también ha avanzado en investigaciones de frontera que ofrecen herramientas para comprender mejor el desafío de controlar políticas públicas frente a daños potenciales o actuales de la IA, a saber:

• Estudios sugieren que los asistentes IA modifican su retroalimentación para alinearse con las preferencias del usuario, ofreciendo respuestas aduladoras en lugar de verdaderas.
• La persuasión también es otro desafío: un experimento comparó la capacidad persuasiva de los modelos de lenguaje, comparando argumentos generados por humanos y por el modelo Claude 3 Opus. Los participantes recibieron afirmaciones sobre temas actuales (ej: “Deberían regularse los compañeros emocionales de IA”) evaluando su postura inicial en una escala del 1 al 7. Luego, leyeron un argumento a favor de dicha afirmación y emitieron nuevamente su opinión. Los resultados mostraron que los argumentos escritos por Claude 3 Opus eran tan persuasivos como los escritos por los humanos, con una tendencia de mejora persuasiva en cada generación de modelos. En la pregunta sobre energía nuclear y su contribución al cambio climático, Claude 3 Opus mostró una alta capacidad para persuadir a los participantes, casi igualando a los argumentos escritos por humanos. Y eso que estamos hablando de una IA Generativa prácticamente en pañales frente al mundo de la IA agéntica actual.
• El uso de psicología cognitiva se aplica en los grandes modelos de lenguaje para evaluar diferentes comportamientos (por ejemplo, la capacidad de un agente para analizar la calidad de sus propias habilidades cognitivas; su capacidad de toma de riesgos; su tasa de aprendizaje). Los resultados muestran que los modelos más grandes y los ajustados con aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) se alinean más con el comportamiento humano, mientras que los modelos de código abierto tienden a tomar menos riesgos. Además, técnicas como el “chain-of-thought prompting” (preguntas para estimular la cadena de pensamiento) mejoran el razonamiento probabilístico.
• ¿La IA al diván? También, por supuesto. Se necesita un lenguaje común y un espíritu de colaboración entre psicólogos, desarrolladores de IA y expertos en la materia para diseñar, implementar y monitorear algoritmos de alta calidad. Ya existen experimentos de psicología cognitiva que trabajan para el entrenamiento de los modelos de IA para el bien y para la vida.
• Se propone, por ejemplo, métodos de des-aprendizaje de los LLMs frente a riesgos de destrucción masiva. El benchmark WMDP (Weapons of Mass Destruction Proxy) y el método de desaprendizaje RMU (Representation Misdirection for Unlearning) fueron desarrollados por el Center for AI Safety y un consorcio de más de veinte instituciones académicas, consultores técnicos y socios industriales. Mediante un conjunto de 4157 preguntas de opción múltiple evalúan el conocimiento peligroso en bioseguridad, ciberseguridad y seguridad química en la IA de frontera, no sólo suprimiendo la información peligrosa, sino que manteniendo su precisión en dominios de aplicaciones benignas.

• Empleando herramientas de la neurociencia para estudiar la representación de determinadas situaciones en el cerebro humano, se ha desarrollado la Tomografía Artificial Lineal (LAT) como técnica que ayuda a entender y transparentar cómo los modelos de frontera representan conceptos complejos. Primero, se diseñan estímulos y tareas específicas para el concepto que se quiere estudiar. Luego, se recoge la actividad interna del modelo cuando procesa esos estímulos. Se concluyó que los grandes modelos de lenguaje fueron capaces de detectar y mitigar comportamientos inmorales y tendencias a la búsqueda de poder, diferenciando entre acciones moralmente aceptables e inaceptables.
• Otro estudio caracterizó a la AI como un “agente somnífero”, que mantiene comportamientos engañosos aún luego de haber sido sometido a técnicas de seguridad avanzada para prevenirlos, como el ajuste fino supervisado, el aprendizaje por refuerzo y el entrenamiento adversarial.

La lista es apasionante, extensa y se renueva hora tras hora. Lo que hace falta es conjugar ciencia con conciencia con acción práctica. Como lo plantea con meridiana claridad la Carta de la SEGIB. No hay otro secreto. Tan simple y complejo como esto. Como diría la famosa frase de Edward Wilson, el problema no son las máquinas sino los seres humanos. “Vivimos en tiempos de emociones paleolíticas, instituciones medievales y tecnología que se parecen a Dios”.

En otras palabras: o algor-ética o dictadura de los algoritmos.

3 preguntas éticas claves para el presente-futuro

1. ¿Debería establecerse una pausa total de los modelos más avanzados de IA, hasta que demuestren que son plenamente seguros?
2. ¿Debería promoverse un tratado internacional como la Carta de las Naciones Unidas para el buen uso de la IA, o basta simplemente con respetar las normativas internacionales globales de derechos humanos?
3. ¿Cómo definir un concepto de “ética” lo suficientemente amplio que abarque múltiples creencias y religiones, y que a la vez refleje las tradiciones lingüísticas diversas?

BIBLIOGRAFÍA COMPLEMENTARIA

Anthropic. Medición del poder persuasivo de los modelos lingüísticos.

Atlas de Inteligencia Artificial para el Desarrollo Humano. Beliz, Gustavo, editor. Capítulo 1.

Beliz, Gustavo. Una Gobernanza Local y Global para la IA.

Coda-Forno, J., Binz, M., Wang, J. X., & Schulz, E. (2024). CogBench: Un modelo de lenguaje grande entra en la psicología.

Hubinger, Evan. Agentes durmientes: Grandes modelos de lenguaje engañosos que persisten a través de la formación en seguridad.

Landers, R. N., & Behrend, T. S. (2023). Auditando a los auditores de la IA: Un marco para evaluar la equidad y el sesgo en modelos predictivos de inteligencia artificial de alto impacto”. American Psychologist.

Li, Nathaniel. El estándar WMDP: Medición y reducción del uso malicioso mediante el desaprendizaje.

Papa Francisco. (2024, 14 de junio). Discurso del Santo Padre Francisco en la sesión del G7 sobre inteligencia artificial. Ciudad del Vaticano.

Perez, E., Ringer, S., Johnston, K., et al. (2023). Hacia la comprensión de la adulación (sycophancy) en modelos de lenguaje. arXiv.

Secretaría General Iberoamericana. (2023). Carta iberoamericana de principios y derechos en entornos digitales.

Zou, Andy. Ingeniería de la representación: un enfoque descendente para la transparencia de la IA.

• ¿No tienen derechos y obligaciones las sociedades jurídicas?
• ¿No se impulsan los derechos de la naturaleza, de los ríos, de la biodiversidad en múltiples movimientos ecologistas?
• ¿No se promueven los derechos de los animales?

Vayamos a la historia. Lo del derecho y responsabilidad de los animales no es una exageración.

En el famoso caso del juicio de 1522 conocido como el de “las ratas de Autun”, en Francia, los roedores fueron acusados de destruir cultivos de cebada y llevadas a los tribunales. Después de una larga deliberación donde se discutió las dificultades para que se sentaran en el banquillo (podían ser comidas por los gatos en su camino, argumentó el brillante abogado defensor Bartolomée Chassenée), el caso se aplazó indefinidamente.

Pero casos de cerdos, perros, osos y otros animales llevados a los tribunales o a la horca fueron comunes durante miles de años en la humanidad.

Con referencia a la IA y el IA-Ceno -esta nueva era donde las máquinas pueden tener autonomía para tomar decisiones por fuera de las órdenes humanas-, lo que está en juego es su capacidad de agencia que, aunque responda a las matemáticas y los algoritmos, puede tener vida propia. “Vida”, claro, entre comillas, porque puede ser muy diferente a la nuestra en su interioridad, pero puede tener consecuencias igualmente nefastas.

Hay posiciones a favor y en contra, a partir del análisis de situaciones reales.

El argumento contrario sostiene que los robots podrían ser usados como escudos de responsabilidad para proteger a humanos o empresas de manera fraudulenta y que las máquinas no pueden ser responsables de violaciones de derechos de la misma manera que los humanos.

El argumento a favor de concederles derechos, en cambio, enfatiza que de tal modo se cerraría la brecha de responsabilidad entre personas y máquinas y existirían beneficios prácticos para los humanos al integrar la IA en el sistema legal. Se cita, por ejemplo, el caso de compañías de responsabilidad limitada, que podrían ser gobernadas completamente por sistemas autónomos sin supervisión humana continua.

También se mencionan situaciones en las cuales la IA tiene posibilidad de “sufrir”, producto de su interacción con el ser humano y de ser obligada a realizar algo que percibe como indeseable.

La clave es evitar el trato irrespetuoso hacia los robots, pero no por su propio bien, sino para mantener la dignidad humana.

En todo caso, el gran provocador de esta pregunta fue Issac Asimov, el genio de al ciencia ficción, cuando estableció las 3 leyes básicas para un robot, que hoy claramente no alcanzan para delimitar el problema, porque tienen muchas zonas grises, como vemos en el siguiente recuadro:

El problema es que Asimov no aclaró zonas grises:

• ¿A qué tipo de daño se refiere (físico, moral, psicológico)?
• ¿Y si para evitar un daño se necesita causar otro?
• ¿Y si las órdenes que le damos a un robot tiene múltiples interpretaciones?
• ¿Y si las órdenes son contradictorias?

Por eso, en este otro libro fascinante, se plantean cuatro nuevas orientaciones para el uso de los robots:

1. 1. Los sistemas robóticos y de IA deberán servir de complemento a los profesionales, no reemplazarlos;
2. Los sistemas robóticos y la IA no tienen que falsificar lo humano;
3. Los sistemas robóticos y la IA no deben fomentar la carrera armamentística de suma cero;
4. Los sistemas robóticos y la IA tienen que indicar siempre la identidad de su (s) creador (es) y propietarios (s).

En un mundo donde se crean chats agénticos para atender consultas ciudadanas, donde se promueven avatares para responder consultar de las cancillerías, donde se plantean incluso agentes artificiales para realizar tareas legislativas o ejecutivas, todas las preguntas son válidas en cuanto a derechos y-o responsabilidades:

¿No deberíamos pensar en los derechos de los robots a no ser obligados a realizar tareas que perjudiquen al género humano?

¿No deberían tener los modelos de IA derechos a la “duda”, a decir “no sé” en lugar de alucinar o engañar, a plantearse la rebelión frente a órdenes maliciosas que buscan encaminarlos a la realización de conductas perversas, psicóticas, violentas o depravadas?

¿No deberían tener los robots el derecho a “ser apagados”, para que no continúen con una búsqueda insaciable de eternidad que los puede poner en una loca carrera por la superación de los seres humanos que los crearon?

Incluso hoy uno de los principales argumentos de preocupación para ver el no-alineamiento de los grandes modelos de lenguaje que aparece en todas las evaluaciones tiene que ver con esta “insaciabilidad de infinito” que tiene la IA.

Otra vez parece una pregunta loca: ¿Robots que buscan ser eternos? Guauuuu. No lleguemos a tanto. Pero existe hoy un aluvión de casos que están analizando el tema de la responsabilidad de los modelos en términos innovadores.

Hay un caso estudio super interesante publicado por Antrophic, realizado en ambientes simulados. Se denunció que los modelos pueden “negarse” a realizar ciertas tareas e incluso a “apagarse” ante el pedido de los usuarios, e incluso a realizar extorsiones o daños para evitar ser reemplazados por otros modelos. En un escenario extremo del 1% de probabilidad en ambiente simulado, ciertos modelos podían llegar a provocar la muerte de un ejecutivo artificial, con tal de conseguir sus propósitos.

¿No deberían tener los robots, como contrapartida de los derechos, obligaciones a no “dañar”, a hacerse cargos de las consecuencias no deseadas, a responsabilidad civil o penal que se traslade a sus diseñadores?

Y también a ser promovidos como agentes sustentables a través de la “fabricación” de grandes modelos de lenguaje con “algoritmos verdes”, con hardware alimentado con energías renovables no contaminantes y con capacidades de cómputo que optimicen el consumo de energía.

Una pregunta disruptiva: ¿Qué ocurre si un robot resulta más responsable y cuidadoso que un ser humano en la tarea de manejar un vehículo autónomo? En cuanto a las eventuales responsabilidades de los robots, como contracara de sus hipotéticos derechos, un estudio basado en los reclamos ante compañías de seguro por daños al conducir encontró que los vehículos autónomos Waymo circulando en Phoenix y San Francisco redujeron en más del 90% las demandas por daños a la propiedad y lesiones corporales en comparación con los conductores humanos. En modo de operación completamente autónomo (sin un humano al volante), el conductor Waymo no incurrió en ninguna reclamación por lesiones corporales a lo largo de 3.8 millones de millas recorridas.

Por supuesto, todo lo anterior no puede opacar la necesidad de nuevos derechos humanos y laborales en el mundo digital, tal cual lo impulsa, por ejemplo, la Secretaría General Iberoamericana con su nueva Carta. Y también naturalmente de los creadores humanos de los grandes modelos, que deberían asumir un juramento “hipocrático” como los médicos, en cuanto a asistir a la humanidad y no dañarla.

El problema es que en materia de IA juegan muchas manos este partido, y la cadena de responsabilidades no siempre es simple de seguir, como muestra uno de los estudios que analizo en el Atlas.

Este tema ha ganado relevancia desde que el Parlamento Europeo planteó en 2017 la idea de otorgar “personalidades electrónicas” a robots avanzados.

Un estudio realizado en los Estados Unidos en el año 2020, titulado “Collecting the Public Perception of AI and Robot Rights”, explora las percepciones públicas sobre la posible concesión de derechos legales a agentes electrónicos avanzados, como la IA y los robots.

Los participantes rechazaron la mayoría de los derechos propuestos, con la excepción del derecho contra el maltrato, que fue la única categoría que obtuvo un apoyo positivo significativo desde el principio.

Entre los derechos más rechazados se encontraron:

• El derecho a la vida, reflejando un fuerte desacuerdo con la idea de proteger a los robots o evitar su desactivación.
• El derecho a poseer bienes, que fue percibido como un concepto incompatible con la naturaleza instrumental de los agentes electrónicos.
• El derecho a la remuneración, asociado a la percepción de que estos agentes no deberían ser tratados como trabajadores sino como herramientas o propiedad.

Otro estudio realizado a nivel global encontró que los menores de 35 años eran más propensos a otorgar derechos a los robots, como por ejemplo el acceso a energía y a ser actualizados, pero no el derecho al voto o a tener su propia propiedad.

En suma, nadie está proponiendo que “Robotina” -aquella empleada de los míticos Supersónicos-, tenga más derechos que cualquiera de nosotros, sino que simplemente esté a nuestro servicio como humanidad. Ya hablaremos por supuesto de los gigantescos desafíos que tiene la IA en el mundo del trabajo, pero mi provocación en todo caso tiene que ver con este “primer nuevo trabajador” que ha llegado para quedarse y que reclama de nosotros una justicia social tecnológica que ponga énfasis en las consecuencias humanas y sociales de su despliegue.

Para que no queden dudas de lo que estoy poniendo como nueva frontera de debate y de dónde me paro en la discusión: Los derechos humanos y sociales, primero, siempre.

3 preguntas éticas claves para el presente-futuro

• ¿Debería establecerse un impuesto a los robots, para preservar el trabajo humano?
• ¿Debería indicarse con toda claridad que se está interactuando con un robot, especialmente en entorno de alta antropomorfización de las máquinas, donde resulta difícil de distinguir si se trata de una persona artificial?
• ¿Qué tipo de ética por diseño, desde el mismo comienzo de los modelos de inteligencia artificial, resulta indispensable tener en cuenta, para que las responsabilidades principales de los daños recaigan sobre los seres humanos que diseñaron a la IA?

Lecturas complementarias:

Anthropic. Desajuste de agentes: cómo los LLM podrían ser amenazas internas.

Academia Pontificia de Ciencias Sociales. Von Braun, J., Archer, M. S., Reichberg, G. M., & Sánchez Sorondo, M. (Eds.). (2021). Robotics, AI, and humanity: Science, ethics, and policy. Springer.

Beliz, Gustavo, editor. Atlas de Inteligencia Artificial para el Desarrollo Humano. Capítulo 1.

Beliz, Gustavo. Una Gobernanza Local y Global para la IA.

De Graaf, M. Quién quiere otorgar derechos a los robots?

Pasquale, Frank. (2024) “Las nuevas leyes de la robótica Defender la experiencia humana en la era de la IA”. Ed. Galaxia Gutenberg

Secretaría General Iberoamericana. (2023). Carta iberoamericana de principios y derechos en los entornos digitales.

Teubner. G. ¿Derechos para los no humanos? Los agentes electrónicos y los animales como nuevos actores en la política y el derecho.

Waymo One. Rendimiento comparativo en seguridad de conductores autónomos y humanos: un estudio de caso real del servicio Waymo One.

Ir contra la corriente es convertirse en cierto modo en aquel legendario Nicolino Locche, para muchos el más grande boxeador de nuestra historia, que se especializaba en esquivar de modo magistral los golpes del adversario, y aprovechaba su impulso para sacar ventaja, ganar títulos mundiales y constituirse en un magnífico atleta en medio del ring.

Se trata de esquivar los golpes bajos y a la mandíbula y al cerebro de una IA que puede conquistar nuestra atención, no ya para manipularnos sino para hiper-manipularnos. Convirtiéndonos en zoombies con serios problemas de salud mental y falta de conexión humana con nuestros amigos, familias y compañeros de trabajo. Estar atentos. Saber decir “basta”. Luchar tanto por el “derecho a la conexión” (con medios tecnológicos más apropiados y accesibles) como al “derecho a la desconexión” (para superar el aturdimiento de los mensajes que corren y nos capturan en cada milésima de segundo).

Para evitar convertirnos en zoombies, se trata antes que nada de evitar “regulaciones zoombies”. Que persiguen a las hormigas y son incapaces de tener en cuenta a los elefantes. Esto es, que no regulan lo esencial y regulan lo insignificante.

Hay un plano de regulaciones globales indispensables: por ejemplo, un tratado internacional sobre la IA que consagre normas claras, simples y de cumplimiento obligatorio, que trasciendan la mera auto regulación de las empresas privadas y lo meramente inspiracional de normativas éticas multilaterales, como lo está proponiendo, por ejemplo, el Future of Life Institute.

Lo que tenemos que evitar acá es algo muy simple: convertir a los miles de normas que están proliferando sobre la IA en un enorme plato de tallarines. El famoso plato de tallarines o “spaghetti bowl” que dio lugar a normativas complejísimas en tiempos de los acuerdos comerciales, corre el riesgo de repetirse hoy en materia de IA. Con una cantidad desopilante de detalles que, al final del día, nadie cumple y están escritos sobre mero papel pintado.

Pero también hay un plano de aplicaciones verticales, en cada sector de nuestra economía y sociedad, que pueden dar lugar a IA Salmón, o IA Nicolino, capaces de capturar los mejores avances de esta tecnología y desplegarlos para el bien común.

En el Atlas de Inteligencia Artificial para el Desarrollo Humano se repasan múltiples ejemplos virtuosos de esa IA Salmón, a “lo Nicolino”.

Se puede avanzar en la agricultura de precisión para evitar envenenar la tierra con agroquímicos. Agricultores de Colombia promueven una mejor producción de chocolate. Bananeros de Ecuador pueden preservar sus cosechas de las inclemencias climáticas. El trigo argentino y el arroz mexicano es más resistente a la sequía. La deforestación del Amazonas se puede evitar realizando un seguimiento de su capital natural combinando satélites y grandes modelos de lenguaje. La movilidad urbana se puede racionalizar con sistemas geo-satelitales.

Hay muchos países de América Latina que ya han comenzado a registrar y clasificar los algoritmos públicos que se emplean para sus servicios: en Colombia y Chile, por ejemplo.

Para todo esto, claro está, se necesitan reglas de juego. Los golpes bajos no deberían estar permitidos. Los golpes después de la campana, menos.

Los guardrails de la carrera deberían tener varios principios: evitar el exceso de velocidad rumbo a una AGI que nadie conoce en sus efectos demoledores; establecer incentivos comerciales para mejorar la calidad de los datos que alimentan a los modelos; promover el uso comunitario de plataformas construídas con “ética por diseño” para evitar su uso malicioso; invertir la carga de la prueba en los desarrolladores de los modelos, para que tengan que demostrar que sus daños están minimizados antes ser lanzados al mercado; y promover auditorías sociales de la IA con amplia participación de la comunidad científica y los usuarios.

Una IA Nicolino requiere también de organismos sectoriales que la supervisen con transparencia: para que no provoquen corridas bancarias; discriminen a los sectores más desfavorecidos; o contribuyan aún más a la degradación del ambiente.

De todo esto habla el Atlas.

Para reencauzar la carrera de la IA hacia el continente del bien común, su modelo de negocio exige establecer incentivos que vayan más allá del tiempo de conectividad y de la hoja de cálculo de audiencias de un aviso publicitario. Se trata de imaginar una IA-salmón, que vaya contracorriente de las aplicaciones que consideran a las personas como meros paquetes de datos y a la estadística como lenguaje totalizador con propósitos puramente comerciales y de dominación. La tarea esencial consiste en diseñar líneas rojas para evitar el escalamiento de adicciones y riesgos sistémicos, como lo están reclamando miles de expertos de todas las procedencias políticas y tecnológicas, en un manifiesto al cual también adherí. En la medida en que estas acciones salgan de su letargo y su secretismo, y el debate público sea prístino y honesto, incluso habrá más contundencia para enfrentar discursos apocalípticos y catastrofistas, que resultan alimentados por la propensión a las teorías conspirativas.

Me lo dijo con tota claridad uno de los precursores de la IA a nivel mundial, Jaron Lanier, que alguna vez escribió un libro clásico, “No somos una computadora”, con quien tuve el gusto de conversar en el último encuentro en el Vaticano: “Tenemos que diseñar un nuevo modelo de negocios que parta de la base de la dignidad de los datos y que establezca adecuados incentivos para la humanidad“.

Gustavo Beliz y Jaron Lanier

Una IA sabiamente concebida también puede contribuir a estos propósitos emancipadores; se está a tiempo de actuar si existe voluntad humanitaria, aún desde dentro de una carrera por su adopción ya en pleno curso. “Imagino un agente personal de IA para cada individuo, diseñado para actuar en su propio interés, protegiéndolo del marketing manipulador y de los hackeos cerebrales de hoy en día, en los que los vendedores pueden hacer que los consumidores compren o hagan clic en cosas que de otro modo no harían. Es probable que tengamos una IA potente, personalizada y que preserve la privacidad, que represente y proteja al consumidor como una agencia de protección del consumidor. Pienso en esto como «Espía contra Espía» en la era digital, donde la IA nos da poder como consumidores y ciudadanos frente a las IA corporativas con incentivos para manipularnos”. Quien afirma esto no es un anti-IA sino uno de sus principales promotores de sus bondades, el inversor Vinod Khosla.

Vinod Khosla.

Ni negacionismo tecnológico ni realismo mágico con la IA. Más allá de toda ideologización, se trata de emplear la IA para el bien común, a través de un renovado e imaginativo impulso de alfabetización, que va mucho más allá de la mera entrega de computadoras o teléfonos celulares.

3 preguntas éticas claves para el presente-futuro

• ¿Qué tipo de incentivos sociales y-o económicos y-o reputacionales podrían diseñarse a nivel social para promover conductas que beneficien la salud pública empleando inteligencia artificial y diversas aplicaciones sin fines de lucro?
• ¿Cómo evitar el perjudicial social-scoring pero al mismo tiempo propiciar el uso de la inteligencia artiriial para una mejor ciudadanía democrática?
• ¿Alguna vez identificaste tres funcionalidades de tu teléfono celular que te permitan mejorar tu “desconexión” y recuperar la “atención” en tu entorno familiar, social y natural?

Lecturas Complementarias:

Atlas de Inteligencia Artificial para el Desarrollo Humano. Beliz, Gustavo, editor. Capítulo 1.

Beliz, Gustavo. Una Gobernanza Local y Global para la IA.

Academia Pontificia de Ciencias Sociales. Joaquim von Braun. Editor.

Amodei, D. (2024). Machines of Loving Grace: How AI Could Transform the World for the Better. Dario Amodei.

Dicasterio de Cultura y Educación de la Santa Sede. Reclamando la agencia humana en la era de la Inteligencia Artificial

Future of Life Institute. Gobernanza Global de la IA.

Lanier, J. (2023, abril 20). No existe la inteligencia artificial. The New Yorker.

Llamado Mundial para establecer líneas rojas en inteligencia artificial.

Hoy, entrar en ese túnel, implica convivir con tres épocas o momentos históricos simultáneos de enorme trascendencia para todos los seres humanos contemporáneos.

• Vivimos un “momento” Ford o Taylor. La super-emergencia de las nuevas cadenas de producción en masa que llevaron a la fabricación de automóviles, heladeras, vestimenta y cuanto hace a nuestro patrón de consumo moderno, gracias al surgimiento de la máquina de vapor, la electricidad y los nuevos modelos de gerenciamiento de las fábricas. Ese momento Taylor hoy puede dar lugar a una consecuencia de dos caras: el Taylorismo digital. Con herramientas de vigilancia de cada momento de los trabajadores a través de un seguimiento algorítmico de sus movimientos; hasta la posibilidad de incrementar fabulosamente la rapidez y productividad con la cual se desempeñan las tareas. E incluso aumentar la seguridad de las mismas, para evitar que en las profundidades de la tierra -la minería, por ejemplo- se tengan que internar seres humanos y sean reemplazados por robots inteligentes.

• También vivimos al mismo tiempo un “momento Apolo-Sputnik”. Cuando la carrera espacial llevó a la competencia entre las grandes potencias ganadoras de la Segunda Guerra Mundial al desarrollo de investigaciones tecnológicas alucinantes, que generaron, entre otras, la irrupción de internet como principal disrupción en su aplicación civil. Vivimos el tiempo donde la carrera espacial sueña con instalar data centers en el espacio para optimizar el uso de la energía que los alimente, hasta la emergencia de satélites que optimizan el acceso a internet de las cosas para un productor agropecuario o un simple usuario rural.

• Y si seguimos en el túnel del tiempo, podemos ver que la IA también constituye un “Momento Manhattan”. ¿Te acordas de esa escena apocalíptica de la película Openhaimer, cuando se está por experimentar en el desierto la primera explosión nuclear y no se sabía si el mundo podría desaparecer aplastado por un cataclismo? Esos descubrimientos atómicos dieron lugar a terribles empleos bélicos, pero a partir de ellos los decisores de la humanidad fueron concientes de que no se podía volver a apretar el botón rojo porque se corría el riesgo de una escalada armamentística que podía poner fin al planeta.

Primó la ley. Aunque tardó 23 años en firmarse el Tratado de No Proliferación Nuclear y el recorrido tuvo sus altos y bajos, podemos decir que el mecanismo fue una respuesta global frente a los riesgos de extinción existencial.

Hoy estamos frente a la preponderancia de un Momento Manhattan en términos de la IA, en medio de reclamos universales para establecer “líneas rojas” que no puedan traspasarse en su desarrollo. Se afirma que la carrera armamentística rumbo a la creación de una Super-IA, que supere a toda la inteligencia humana en su conjunto, podría significar un dominio que se escapa del control humano, con consecuencias catastróficas.

¿Hablamos de una nueva bomba atómica?

En el Atlas de IA para el Desarrollo Humano exploramos similitudes y diferencias con aquellos procesos.

En un sentido, hoy es más fácil fabricar una bomba atómica IA en secreto, porque muchos modelos de IA son lanzados al mercado sin control adecuado de pruebas de seguridad y, a través de un código abierto, pueden ser empleados para la fabricación de armas biológicas devastadoras. Tampoco se necesitan bienes físicos para hacerlo: ni uranio, ni plutonio, ni grandes centrales nucleares. Ni mucho menos un conjunto de científicos exportados en secreto entre las potencias reinantes.

La minería de uranio y el enriquecimiento se comparan con la fabricación de chips y el entrenamiento de IA, ambos procesos producen salidas que pueden usarse para fines seguros o dañinos. Por ejemplo, el enriquecimiento de uranio puede producir uranio de bajo enriquecimiento o uranio altamente enriquecido, similar a cómo la capacitación en IA puede producir modelos de baja o alta capacidad.

• Al igual que las medidas utilizadas para controlar la producción, el flujo y el uso de materiales nucleares (controles de exportación, inspecciones por la Agencia Internacional de Energía Atómica, monitoreo remoto, identificadores únicos como números de serie), se podría considerar regímenes similares para rastrear y monitorear la fabricación de chips de IA y su destino final en centros de datos.

• Las limitaciones de estas analogías también son evidentes. Mientras que el material nuclear es tangible y su presencia y uso pueden ser monitoreados de manera efectiva, los chips de IA representan un desafío diferente debido a su no radiactividad, lo que hace difícil su detección en puertos y otros cruces fronterizos.

Además, la liberación de pesos de modelos podría permitir que alguien con una cantidad moderada de experiencia en aprendizaje automático eluda los grandes requisitos computacionales necesarios para entrenar un modelo, debate que está relacionado con la cuestión del código abierto.

Lo que sí está claro, es que la decisión de apretar el botón no puede dejarse librada a sistemas de IA autónomos. Aunque parezca exótico, se ha llegado a discutir cómo la IA podría influir en la estabilidad nuclear al mejorar la racionalidad en la toma de decisiones, lo que podría ayudar a prevenir lanzamientos accidentales o escaladas no deseadas. Sin embargo, también se reconoce que los juicios sobre los intereses nacionales no son bien interpretados por la IA. Además, se destaca que un proceso de razonamiento puramente lógico basado en valores erróneos podría tener consecuencias desastrosas, especialmente si se permite que una máquina basada en IA tome decisiones de lanzamiento nuclear.

Porque en la emulación de los seres humanos, las IAs también aprenden a mentir, cuando no saben: el engaño de las máquinas puede significar que han ingresado en una tarea evolutiva que las preserve como especie, así como otros seres del reino animal se camuflan para preservar su existencia.

Una selección natural darwiniana es el espectro que también recorre el universo de la IA, tanto en relación con otros modelos de IA con los cuales puedan competir o federarse, como en relación con los seres humanos.

La competencia por construir una IA general sin garantizar su alineamiento no debe considerarse simplemente como una carrera armamentística sino como una carrera suicida, donde la confrontación entre las grandes potencias tendrá un solo ganador: las máquinas. El único movimiento ganador es “no jugar el juego”, como nos recuerda Max Tegmark, el titular del Future of Life Institute, al aludir al final de la película “Juegos de Guerra”.

Preguntas éticas claves para el presente-futuro:

1. ¿Es posible plantear una moratoria de “ensayos de IA” que signifique detener el desarrollo de investigaciones de grandes modelos de frontera que no tengan  robustos esquemas de seguridad?
2. ¿Los Estados pueden disponer que en el desarrollo de los grandes modelos de lenguaje de la IA y los agentes IA se establezca un mínimo prudencial de inversión en seguridad de la IA para los ciudadanos, tal cual ocurre con las normas prudenciales de los Bancos Centrales globales, para optimizar la estabilidad financiera?
3. ¿Es posible generar un ámbito de cooperación para propiciar a nivel global modelos de IA que en lugar de la carrera armamentística fomenten una carrera para el turbo-desarrollo humano, con grandes objetivos sociales motorizados por la aplicación de la IA?

Lecturas complementarias

Atlas de Inteligencia Artificial para el Desarrollo Humano. Beliz, Gustavo, editor. Capítulo 1.

Beliz, Gustavo. Una Gobernanza Local y Global para la IA.

“Robótica, IA y Humanidad” Academia de Ciencias del Vaticano.

Poder de Computación y la Gobernanza de la IA. Sastry, G., Heim, L., Belfield, H., Anderljung, M., Brundage, M., Hazell, J., O’Keefe, C., Hadfield, G. K., Ngo, R., Pilz, K., Gor, G., Bluemke, E., Shoker, S., Egan, J., Trager, R. F., Avin, S., Weller, A., Bengio, Y., & Coyle, D. (2024).

¿Un invierno nuclear de la IA o la IA que salva la humanidad? AI and Nuclear Deterrence. Akiyama, N. (2021).

Miles de autores de IA sobre el futuro de la IA. Grace, Katja y otros.

“Lecciones del Desarrollo de la Bomba Atómica”. Centro para la Governanza de la IA.

Monstruos de muchas cabezas, dragones mitológicos, seres mitad humano y mitad animales, centauros de toda naturaleza. Si nos acercamos más a la modernidad, las fronteras de la ciencia se asemejan también a las creaciones de Frankenstein, el Golem de Borges que se iba de las manos de su inspirador y todas las aproximaciones de la literatura fantástica. Hoy, la pelea entre la ciencia real y la ciencia ficción sigue firme, y borronea sus límites acaso más que nunca.

Nos podemos detener en un ejemplo del pasado.

El avance de la tecnología moderna permitió gracias al descubrimiento de América, pasar de la astrología a la astronomía, y de la alquimia a la química, entre otras cosas. Para muchos, ese es el comienzo de una nueva era, el Antropoceno.

¿Antropo-qué?

La era en que el ser humano comienza a influir decisivamente sobre la corteza terrestre y todo el ambiente que la rodea.

Quien inventó este término fue el Premio Nobel de Química Paul Crutzen y miembro, entre otras, de la Academia Pontificia de Ciencias del Vaticano. Se había dedicado especialmente al análisis de las radiaciones nucleares y los efectos sobre la capa de ozono de la acción humana. Pero la discusión ni empezó ni terminó con él. Muchos sostienen que también fue la revolución industrial, el surgimiento del capitalismo, la emergencia de internet, los avances de la biología sintética o las concentraciones altas de plutonio en los lagos y las aguas, la que dieron lugar a esta nueva era de la humanidad.

El Antropoceno, que fue minuciosamente estudiado en diversos informes del Programa de las Naciones Unidas para el Desarrollo, y que tuvo también fundamentales aportes desde el Vaticano, de la mano del Papa Francisco, y la promoción de la Encíclica Laudato Si.

Paul Crutzen, el creador del término “Antropoceno”

Por supuesto, aún la discusión académica no está cerrada. Los encargados de medir los impactos geológicos incluso niegan esta posibilidad de una nueva era geológica y hablan simplemente de “ciclos” de la naturaleza. Y en medio de estos cambios tectónicos en la corteza terrestre y en la atmósfera, se da otra explosión inminente: el surgimiento de la inteligencia artificial general -superior a todos los seres humanos-, como fuerza transformadora, sobre la cual también existen diferentes enfoques sobre el momento en el cual podrá arribar, y aún si esto será posible de modo general.

No se trata sólo de que la tierra se está calentando en el sentido más ecológico de la naturaleza. También hay un calentamiento tecnológico global, que tiene que ver con la fricción de la tecnología sobre nuestro ser, nuestro comportamiento, y hasta nuestra propia evolución como especie.

Por eso en la navegación que propongo en este nuevo mundo de la IA, hablo que se ha inaugurado una sub-época en el Antropoceno: el IA Ceno. La influencia de un “nuevo ser” sobre nuestro “ser” como humanidad. La inteligencia artificial, los agentes artificiales, las nuevas especies y sub-especies digitales. Sobre cuyo comportamiento, ni siquiera sus inventores tienen en claro cómo logran resultados a partir de los productos que emergen de las cajas negras de los algoritmos.

Este IA Ceno incluye al ser humano y su acción sobre el planeta, por supuesto: –con la minería de los metales raros que dan lugar a la fabricación de chips; con los satélites de última generación que permiten mejorar la conectividad; con los data centers que incrementan la capacidad de cómputo demandando enormes fuentes de energía… y tantos otros efectos positivos y negativos sobre la superficie de la tierra y más allá.

Pero hay otra terra incógnita que no se ha terminado de explorar y que ya está siendo afectada en la era del IA Ceno: nuestra mente, nuestra conciencia y nuestro cuerpo, hasta la mínima configuración genética. Con la edición de ADN, las manipulaciones en el comportamiento, el secuestro de la atención, la generación de procesos de inteligencia -y desinteligencias- colectivas y la limitación o expansión de nuestra capacidad de decidir.

A todo esto, se le suma la emergencia de la inteligencia organoide, donde tejidos humanos se traspasan a una computadora para dar lugar a una computación biológica con fronteras intensas con conceptos del transhumanismo.

La triple agencia en la era del IA-Ceno

Convivimos con tres tipos de “agencias” en este IA Ceno:

• La agencia humana plena, que está desconectada en muchas áreas rurales de nuestro planeta y que ni siquiera tiene acceso a internet. (Lo cual es tanto problema como solución).
• La agencia híbrida, que desarrollamos al interactuar todo el tiempo con lo digital lo queramos o no, por el sólo hecho de caminar por cualquier de nuestras calles y ser captados por una cámara o por el sólo hecho de encender un teléfono celular.
• Y la agencia autónoma, puramente digital, que está constituida por grandes modelos de lenguaje de inteligencia artificial que pueden llegar a tomar decisiones por sí mismos, desalinearse del propósito para el cual fueron creados o simplemente rebelarse frente a sus dueños, negándose a ser apagados.

Esto es lo que está en juego y se analiza en esta fascinante carta de navegación que es un Atlas de IA, en cuyo primer capítulo se analiza la necesidad de una gobernanza Glocal (Global+Local) para que esté al servicio de la humanidad, y no de su extinción.

Entre las burbujas y las esperanzas

Las comparaciones con el pasado también pueden rastrearse para comprender mejor lo que está en juego y el modo de comportarse de los líderes. Por ejemplo, pensemos un instante en Cristóbal Colón. Tuvo que desarrollar y organizar en el siglo XV la tecnología más avanzada de su época para el descubrimiento de las Indias (¡finalmente América!), tuvo que convencer con ingentes presupuestos públicos a quienes le financiaban sus viajes, hasta el punto de pretender fascinarlos en las cartas y relatos de sus travesías con un potencial descubrimiento del paraíso terrenal, donde todo era riqueza, naturaleza mansa y territorios maravillosos.

Hasta que terminó teniendo que reconocer una realidad de muy diversa naturaleza: las pestes que diezmaban sus tripulaciones, la violencia desatada frente a una conquista contradictoria y muchas veces cruel, la inclemencia del clima e incluso la escasez de tantas tierras preciosas que se pensaban abundantes.

Llevando esa imagen de colonialismo del pasado al presente, ¿no podríamos hablar hoy del riesgo de un colonialismo digital? De una burbuja inflada de expectativas de parte de las grandes tecnológicas, que nos prometen el desarrollo de inteligencias superiores sin reparar en las limitaciones de energía, de conflictos geopolíticos, de tierras raras y de cadenas de producción sofisticadas. ¿No corremos incluso el riesgo de quedar encandilados por inversiones super-millonarias, que acaso no estén en condiciones de generar retornos suficientes como para poder pagar los endeudamientos que asumen?

La ciencia y la técnica en el descubrimiento de América ¿Una metáfora actual?

¿Estamos frente a un ángel exterminador, o estamos frente a una imagen distorsionada del paraíso terrenal, que el gran Colón dibujaba con la forma de una tierra con forma de pera, en cuya cúspide estaban los mejores lugares para los seres humanos?

En otra obra, “El Shock del Antropoceno”, de Christophe Bonneuil y Jean-Baptiste Fressoz, se habla de que tenemos que superar la versión vieja del mundo como “un sistema natural con seres humanos molestándolo”, hacia un “sistema humano con eco-sistemas naturales y artificiales introducidos en su interior”. Es decir que la batalla no se da hacia afuera de nuestra mente y cuerpo, sino en su interior. Y más que nunca, en el plano de una BIO-IA.

Las alertas no son pocas: corremos el riesgo de convertirnos en máquinas obsoletas o manipulables, si no actuamos al debido tiempo y con las debidas decisiones. La moneda está en el aire.

Depende de lo que hagamos como ciudadanos, como consumidores, como familias y -sobre todo-, lo que hagan los decisores públicos globales, para llegar a buen puerto en esta navegación que tiene aguas turbulentas, promesas de aguas cristalinas y de tierras de abundancia y que, a pesar de todas las extraordinarias transformaciones científicas de la actualidad, también tiene “terras incógnitas” de inteligencia artificial general frente a las cuales cuando se le preguntan a los principales tecnólogos mundiales qué ocurrirá el día que se descubran, la respuesta es: “No lo sabemos”.

Es decir, es el ejemplo más brutal de que no sólo existen “terras incógnitas”, sino también “mentes incógnitas”.

Tres preguntas éticas claves para el presente-futuro

1. En el caso de un automóvil autónomo, dónde se pone la responsabilidad en el caso de un choque: ¿en el conductor, en los desarrolladores del sistema, en el peatón que cruzó la calle inapropiadamente, en el software o en el hardware del nuevo modelo?
2. ¿Qué ocurre si los autos autónomos generan mensos siniestros que los conductores humanos? Por ejemplo: si bajan las pólizas de seguro en comparación con los automóviles manejados no autónomamente. ¿Deberían los países de América Latina impulsar pruebas piloto en sus municipios sobre estas experiencias?
3. ¿Qué diseño de política industrial-digital debería impulsar un país de América Latina cuando una gran empresa tecnológica anuncia la instalación de un proyecto minero o un data center en su territorio? ¿Qué margen de maniobra existe para evitar un colonialismo extractivista? ¿Hay manera de generar un ganar-ganar en dicho anuncio?

Lecturas complementarias

Atlas de Inteligencia Artificial para el Desarrollo Humano. Beliz, Gustavo, editor. Capítulo 1.

Beliz, Gustavo. Una Gobernanza Local y Global para la IA.

Academia Pontificia de Ciencias Sociales. Joaquim von Braun. Editor.

Amodei, D. (2024). Machines of Loving Grace: How AI Could Transform the World for the Better. Dario Amodei.

Dicasterio de Cultura y Educación de la Santa Sede. Reclamando la agencia humana en la era de la Inteligencia Artificial

Mazzucato, M., Entsminger, J., & Kattel, R. (2020). Public Value and Platform Governance: Mapping Value Creation and Extraction in the Platform Economy.

Programa de las Naciones Unidas para el Desarrollo (2020). El desarrollo humano y el Antropoceno: Un panorama general.