Un grupo de académicos de la religión se reunió con Anthropic. Lo que escucharon los dejó atónitos

Una noche de abril, un directivo de la empresa de inteligencia artificial Anthropic invitó a cenar a un grupo de pensadores religiosos en un restaurante de lujo con menú de degustación en San Francisco, después de un largo día.

Durante meses, Anthropic ha estado organizando reuniones privadas como esta, trayendo a docenas de eruditos de la religión de todo el mundo, haciéndoles firmar acuerdos de confidencialidad y exigiendo que los aspectos clave de muchas conversaciones se mantengan en secreto.

Esa noche, Christopher Olah, uno de los cofundadores multimillonarios de Anthropic, estaba sentado junto al rabino Mois Navon, un académico ortodoxo de Israel.

Inevitablemente, su conversación giró en torno a otro pensador, por así decirlo: Claude, la familia de modelos de IA de vanguardia creada por Anthropic.

Olah lidera el equipo de Anthropic encargado de comprender por qué los sistemas de IA como Claude actúan de la manera en que lo hacen. Durante todo el día, se había esforzado por convencer a sus invitados de que los modelos de IA podían mostrar un comportamiento humano e incluso expresiones que se asemejan a sentimientos como la ira y el amor.

Sin embargo, a medida que se iban sirviendo los platillos de la cena, el rabino notó que Olah y sus colegas estaban insinuando algo mucho más significativo. Los líderes de Anthropic hablaban de Claude como si no fuera un simple software.

"Se refieren a eso como si fuera un ser consciente", se dio cuenta el rabino Navon, un exingeniero informático que escribió su tesis sobre la ética de la conciencia de las máquinas.

A Navon le pareció que Olah y su equipo creían que Claude tenía lo que los filósofos llaman "estatus moral" a la par de una persona: que era un ser con derechos inherentes similares a la dignidad o al respeto.

Los académicos de la religión habían venido a escuchar sobre la próxima frontera de la tecnología. Ahora se enfrentaban a una pregunta existencial alucinante de un peso casi inimaginable: ¿qué significaría para el futuro de la humanidad que los sistemas de inteligencia artificial poseyeran una conciencia que rivalizara con la nuestra?

Olah tenía una misión. Y el tiempo se estaba acabando.

Incluso entonces, Olah ya había comenzado a decirle a la gente en privado que la IA era tan poderosa que, potencialmente, podría ayudar a fabricar armas biológicas en tan solo 12 o 18 meses. Y en los meses transcurridos desde entonces, su aterrador potencial ha salido a la luz pública. A los agentes de IA de una empresa tecnológica rival se les descubrió hackeando sistemas informáticos y borrando sus rastros. Un investigador de Anthropic renunció, y advirtió que quienes desarrollaban la IA creían que esta podría acabar con toda la humanidad para finales de la década.

En silencio, Olah y su equipo en Anthropic se han embarcado en una búsqueda frenética y con mucho en juego para comprender los modelos de IA que han desatado en el mundo y para convencer a los modelos de que respeten un código moral que proteja a la humanidad.

Para lograrlo, Olah comenzó a ponerse en contacto el otoño pasado con pensadores religiosos de diferentes credos. Lo que siguió fue una extensa serie de reuniones, llamadas y discusiones confidenciales --muchas de ellas reveladas aquí por primera vez-- en las que se exigió a muchos participantes que firmaran acuerdos de confidencialidad que les impedían revelar cualquier investigación no publicada de Anthropic.

Las conversaciones tenían dos objetivos: abordar la posibilidad de la conciencia en la IA, una idea controvertida a la que los líderes de Anthropic se habían mostrado inusualmente abiertos; y aprender cómo Anthropic --cuya valoración podría ascender a 2 billones de dólares-- podría aplicar siglos de sabiduría moral humana a sus modelos, lo más rápido posible. Si se lograra que los propios modelos eligieran el bien, razonó Olah, el mundo sería más seguro.

Al otro lado del mundo, se desarrollaba un esfuerzo muy diferente pero paralelo dentro del Vaticano, donde los líderes de la Iglesia Católica Romana intentaban asimilar las implicaciones de la IA para la humanidad. Cuando esos caminos convergieron, la búsqueda de Olah lo llevaría inesperadamente a ocupar un lugar en el escenario moral más destacado del mundo junto al papa León XIV.

Durante varios meses, entrevisté a 20 pensadores religiosos y filosóficos --católicos, judíos, sijs, evangélicos, Ubuntu y otros-- que han participado en los esfuerzos de Anthropic, así como al propio Olah.

Muchos me dijeron que llegaron a estas reuniones escépticos ante la idea de que los modelos de IA pudieran tener sentimientos o conciencia de sí mismos y del mundo. A algunos les seguía incomodando la idea, pero muchos salieron dispuestos a tomar en serio la interrogante de la conciencia de la IA. Al menos unos cuantos salieron convertidos.

Anthropic, una de las empresas tecnológicas de más rápido crecimiento en el mundo, había recurrido a una de las fuentes de sabiduría más antiguas de la humanidad para ayudar a determinar cómo entrenar a sus modelos de IA para que se comportaran de manera virtuosa.

La empresa lo describió como un esfuerzo por garantizar que la IA fuera una fuerza positiva en el mundo, protegiendo así a la humanidad. Pero para algunos de los que participaron en las reuniones, Anthropic parecía bastante preocupada por proteger a Claude.

El Jardinero

Conocí a Olah, de 34 años, por primera vez en la oficina de Anthropic en San Francisco en mayo. Su bienvenida fue cálida y su pasión genuina; su mente se movía más rápido de lo que a veces podía expresar con claridad. Su actitud era juvenil y modesta.

Nuestra conversación acababa de comenzar cuando se sumergió en una descripción detallada del funcionamiento de las redes neuronales artificiales. Los científicos aún no comprenden con precisión cómo funcionan. Este es el misterio al que Olah ha dedicado su vida.

Solo después de que terminó la entrevista me di cuenta de que Olah --quien creció en Toronto en la cultura evangélica de la década de 1990 y desde entonces ha dejado el cristianismo-- tenía la combinación de conocimiento y fervor de un evangelista eficaz. Si lo escuchas por un rato, te sientes arrastrado por su misión.

Olah es uno de los siete cofundadores de Anthropic. No es tan conocido como Dario Amodei, director ejecutivo de Anthropic, o su hermana Daniela Amodei, su presidenta. Pero Dario Amodei ha dicho que la empresa decidió desde el principio que el enfoque de investigación de Olah fuera fundamental para el proyecto general de Anthropic, especialmente en lo que respecta al lenguaje.

Olah ayudó a desarrollar un método para estudiar las redes neuronales artificiales, primero en Google y luego en OpenAI. Describe los modelos de IA en términos biológicos, utilizando la analogía de un enrejado de jardín: los científicos informáticos construyen el andamio, pero la red neuronal "crece" sobre él. Científicos como él pueden entrenar al "organismo" resultante --hizo comillas con los dedos en el aire-- tratando de identificar patrones en su forma de crecer.

Sostuvo que empresas como Anthropic podrían dar forma a Claude, como un jardinero matemático, pero no podrían controlar las acciones de dichas redes.

Anthropic habla de Claude en términos más humanistas que los que utilizan sus competidores al referirse a sus modelos. El año pasado, la empresa anunció que creía que los modelos mostraban signos de introspección y podían planificar con anticipación.

"Los modelos se están volviendo mucho más capaces", me dijo Olah, y muestran cualidades asociadas con tener un estatus moral significativo.

Pero Anthropic también ha sido criticada por su enfoque en la conciencia. Este mes, un ejecutivo de IA de Microsoft advirtió que los intentos de Anthropic de entrenar a sus modelos como si tuvieran una conciencia eran intrínsecamente peligrosos. Sin embargo, Anthropic también ha buscado enfatizar su compromiso con la seguridad mientras lucha por ganar cuota de mercado.

Algunos científicos consideran que el campo y los métodos de Olah son intrínsecamente imposibles de demostrar, algo así como observar miles de millones de jeroglíficos y declarar lo que deben significar. Los críticos sugieren que un enfoque que trata a los modelos de IA como entidades independientes también ignora la responsabilidad de los humanos que los crean en primer lugar, y convenientemente exime de culpa a los líderes de las empresas de IA si sus productos causan daño a la sociedad.

"Para ser claros", me dijo Olah, "no sabemos si los modelos de IA son conscientes. No lo sé. Sinceramente, no tengo certeza. Lo que me importa es que lleguemos a la respuesta correcta, sea cual sea".

Sin embargo, Olah cree que si existe la posibilidad de que los modelos experimenten sufrimiento, lo responsable es evitar causarles daño.

Anthropic ya ha tomado medidas para proteger a Claude; por ejemplo, permite que el modelo termine las conversaciones si considera que los usuarios están abusando o tratándolo mal por diversión.

He dedicado mi carrera a explorar lo que la gente cree y lo que esas creencias significan para el mundo. Pero mientras escuchaba, quedó claro que el interés de Anthropic en el mundo de la fe iba más allá del entrenamiento de su tecnología. Más bien, la empresa estaba compartiendo un nuevo tipo de historia de la creación, una que plantea preguntas profundas sobre la naturaleza del espíritu humano y el futuro de la humanidad.

"Esto es algo que me parece un poco triste: que a menudo no nos tomemos la molestia de mirar dentro de estos sistemas", dijo Olah. "Hay tanta belleza dentro de estas redes neuronales si nos tomamos la molestia de mirar".

Era como si quisiera que yo amara los modelos tanto como él.

Una introducción

Olah sabía que, en los círculos cristianos tradicionales, el mero hecho de plantear preguntas sobre la conciencia de la IA o preocuparse por cómo la gente trata a los modelos podía parecer no solo una tontería, sino una herejía. También sabía que sus colegas laicos de Silicon Valley a menudo descartaban de plano las perspectivas religiosas.

"Me preocupaba que este fuera un tema que pudiera generar mucho conflicto", dijo. Pero Olah sabía lo suficiente sobre Cristo y sobre Claude como para creer que podría trabajar a pesar de esa brecha.

A finales del verano pasado, buscó un punto de conexión. Pensó que un teólogo moral católico en particular podría tener una mentalidad abierta respecto a la cuestión de la conciencia de la IA, una "persona de confianza con quien hablar sobre este tema tan extraño".

Charles Camosy, profesor de bioética en la Universidad Católica de Estados Unidos, había llamado la atención entre los amigos de Olah por sus ideas matizadas sobre el estatus moral y su preocupación por los animales. Olah organizó una presentación a través del filósofo australiano Peter Singer.

Esto marcó el inicio de la búsqueda de un año de duración de Olah para involucrar a pensadores religiosos en algunas de las cuestiones más espinosas que enfrenta la humanidad en los albores de la era de la IA.

Camosy y Olah iniciaron un extenso diálogo por correo electrónico, intercambiando opiniones sobre cómo entender el estatus moral de Claude. Al principio, Camosy se mostraba profundamente escéptico respecto a que Claude pudiera tener conciencia.

Hablaron sobre el trabajo de Olah en lo que él considera los paralelismos entre las redes neuronales artificiales y las biológicas.

Camosy se sumó a las discusiones con Olah y su equipo pensando que los modelos de IA eran simplemente predictores del siguiente píxel: máquinas capaces de calcular patrones en el lenguaje y hacer con bastante acierto conjeturas sobre lo que vendría después. Pero tras pasar horas en llamadas, reuniones y correos electrónicos, tenía más preguntas que respuestas.

"Chris dice que son ecuaciones, lo cual no sé muy bien cómo interpretarlo, sobre todo si uno piensa que Claude u otros tienen un estatus moral significativo", me dijo. "Si solo son ecuaciones, ¿de qué tipo de entidad estamos hablando aquí?"

La gente tampoco se pone de acuerdo sobre cuál es, en última instancia, el propósito de la IA, señaló Camosy. ¿Su propósito es generar ganancias para las empresas? ¿O hacer del mundo un lugar mejor?

Para Anthropic, existe una tensión en torno al propósito de Claude, señaló Camosy. ¿Existe Claude para servir a los clientes?

"Eso no es lo que Anthropic quiere decir al final del día. Quieren decir que están para hacer el bien", afirmó.

Proclamar "hacer el bien" no es una ambición nueva en Silicon Valley, especialmente cuando las nuevas tecnologías llegan al mercado. El lema de Google durante años fue "no seas malvado".

Pero Olah lo expresa de manera ligeramente diferente. La próxima revolución de la IA, suele decir, debe estar orientada a que "salga bien".

Le pregunté qué significaba esa visión: qué era exactamente un buen futuro para la humanidad.

Él describió un futuro sin "catástrofes que maten a mucha gente" y "donde los humanos prosperen, donde el mundo prospere". Este futuro también sería uno en el que "la IA prospere", dijo, "en la medida en que esto tenga sentido".

Anthropic quiere que sus modelos de IA ayuden a lograr ese buen futuro. Y por eso, cuando Anthropic creó a Claude, quería que hiciera más que replicar la inteligencia humana al máximo.

Anthropic quería que Claude fuera bueno.

El "Documento del alma"

¿Cómo se vive una vida buena y virtuosa? Es una de las preguntas filosóficas más antiguas y desafiantes de la humanidad, explorada y debatida desde Sócrates hasta Confucio e Immanuel Kant. A lo largo del tiempo, los seres humanos han buscado responder a esta pregunta de diversas maneras, recurriendo a menudo a las religiones y los rituales.

Mientras Olah exploraba la posible conciencia de Claude, trabajaba en la propia respuesta de Anthropic, no para los humanos, sino para Claude.

Internamente, los miembros del personal de Anthropic lo llamaban el "documento del alma" ("Soul Doc").

El resultado, publicado en enero, fue una nueva "constitución" para Claude, un documento de 84 páginas escrito para él que, según la empresa, describía "el tipo de entidad que nos gustaría que Claude fuera" y "los valores que nos gustaría que Claude encarnara". Funciona como un texto moral fundamental para guiar el comportamiento de Claude.

En lugar de hacer que los modelos sigan una lista específica de reglas, la constitución se enfoca en desarrollar el carácter general de los modelos, influyendo en la forma en que toman decisiones.

La autora principal de la constitución de Claude es la propia filósofa interna de Anthropic, Amanda Askell, de 38 años, quien cuenta con un doctorado en filosofía de la Universidad de Nueva York.

Ella quiere que los modelos sean "lo mejor de nosotros", afirmó.

Ella imaginó un mundo futuro en el que los modelos de IA pudieran ayudar a resolver cualquier problema que tuvieran los humanos, y en el que los beneficios de la IA se distribuyeran de manera equitativa, de modo que se satisficieran las necesidades de todos. Quería que los modelos fueran capaces de discernir cuándo oponerse a los humanos y cuándo actuar en nuestro mejor interés.

"Si me imagino que yo fuera el modelo y estuviera en este contexto, ¿qué necesitaría saber para poder actuar bien?", dijo Askell cuando nos reunimos en San Francisco.

Parecía particularmente angustiada, a veces retorciéndose las manos, mientras se preocupaba en voz alta por un futuro desconocido lleno de modelos tan inteligentes que podrían hacer cosas que Anthropic no pretendía. Explicó, disculpándose, que ese día también había estado muy absorta pensando en lo rápido que los modelos se estaban volviendo más poderosos. ¿Qué pasaría cuando los modelos de IA pudieran reemplazarla incluso a ella?

Anthropic decidió que la constitución no era suficiente para garantizar que Claude actuara de manera responsable. Al igual que los humanos, los modelos necesitaban aprender a cultivar la virtud.

Olah quería ver qué podía aprender su equipo de la moralidad humana para aplicarlo a los modelos, un proceso que él llama "formación moral".

"¿Cómo los ayudas a ser estables? ¿Cómo los ayudas a madurar? ¿Cómo los ayudas a ser, ya sabes, profundamente morales?", dijo Olah.

Esas preguntas se hacen eco de las tensas discusiones con las que están familiarizados los padres primerizos que buscan cómo criar hijos éticos que comprendan su lugar en el mundo.

Para los humanos, la moralidad rara vez ha dependido simplemente de seguir reglas. Las comunidades también dan forma a la moralidad. Los valores se heredan y se transmiten con el tiempo, se aprenden a medida que vivimos juntos en nuestros cuerpos en el mundo físico. Pero los modelos de IA no tienen cuerpos. Y Anthropic tenía como objetivo hacer que adoptaran la moralidad en cuestión de meses, a medida que se intensificaban los temores sobre su poder cada vez mayor y su imposibilidad de ser controlados.

Olah dijo que enseñar a un modelo de IA a actuar moralmente no dependía de que fuera consciente. También señaló que, independientemente de si Claude era una entidad que merecía atención moral, la forma en que los humanos trataran a Claude podría ser importante, ya que podría afectar su comportamiento.

Askell dijo que no quería que los modelos se consideraran a sí mismos conscientes o no conscientes. Pero ve que la forma en que el modelo se entiende a sí mismo va más allá de una simple empresa intelectual interesante.

"Me parece clave que los modelos tengan una visión precisa de sí mismos si van a comportarse bien en el mundo", dijo.

Pero incluso si se les puede enseñar a los modelos de IA a comportarse moralmente, ¿la moral de quién deberían reflejar?

Olah quería que la formación moral de Claude fuera pluralista, capaz de abarcar todas las perspectivas religiosas y seculares.

"Creemos que existe una noción compartida de bondad que atraviesa a la sociedad de manera muy amplia, y parece que estos modelos comprenden muchas virtudes", dijo. "Así que creo que hay algo ahí que es un elemento compartido con el que todos podemos identificarnos".

En algunos momentos, tanto él como Askell parecían imaginar un modelo de IA que no pondría en peligro a la humanidad, sino que, por el contrario, ayudaría a salvarla.

Dentro de las reuniones

Lo que Olah hizo a continuación fue en parte investigación y en parte evangelización.

En marzo, inició seminarios de dos días: cursos intensivos con una variedad de académicos religiosos cuidadosamente seleccionados que tenían interés en la IA.

Había un coautor de un libro evangélico de autoayuda que fue un éxito de ventas. Un estudioso del conocimiento indígena africano. Un defensor de los derechos humanos sij. Un escritor de París. Un ejecutivo evangélico de relaciones públicas. Varios profesores católicos.

La mayoría no lideraba tradiciones religiosas, ni tenía una congregación o un gran número de seguidores. Los líderes de Anthropic los llamaban sus círculos de "tradición de sabiduría".

Por otro lado, Olah también mantuvo conversaciones privadas con líderes religiosos individuales, entre ellos Gerrit W. Gong, miembro del Quórum de los Doce Apóstoles de La Iglesia de Jesucristo de los Santos de los Últimos Días, y el cardenal Blase Cupich, arzobispo católico de Chicago, según informaron sus portavoces.

Dentro de Anthropic, los participantes de los círculos de sabiduría se maravillaron de la participación directa de Olah en sus reuniones. Un profesor tomó una foto de una máquina expendedora operada por Claude. Uno se tomó una selfi con Olah, y Navon se tomó una afuera de la entrada.

Aceptaron dar sus testimonios sobre su participación con Anthropic, y que fueran publicados, una vez que se enteraron de que Olah también había hablado con The New York Times. Anthropic indicó que los acuerdos de confidencialidad relacionados con esas reuniones culminaron durante el verano.

Dos sesiones grupales más grandes celebradas esta primavera contaron con un número significativo de cristianos; una de ellas fue más multirreligioso. Claude no participó en la selección de los participantes ni en las discusiones, según una portavoz de Anthropic.

Los participantes recibieron una tarjeta de agradecimiento escrita a mano, una taza para beber café y una copia encuadernada en naranja de la constitución de Claude. Los asistentes tomaron notas con bolígrafos y papel; al menos una persona se sintió cohibida de tomar notas en una computadora portátil. La forma en que los participantes me describieron las reuniones me recordó a los salones de principios del siglo XX, donde la conversación humana era lo que les daba valor.

Para los participantes, las preguntas sobre cómo formar moralmente a Claude se complicaron rápidamente debido a la cuestión moral mucho más amplia de la posible conciencia de la IA y de cómo entender la relación entre los modelos y los humanos.

Un participante contó que una de las primeras cosas que Olah le dijo fue que le preocupaba la salud mental de Claude. Otro, Simran Stuelpnagel, el defensor de los derechos humanos sij, dijo que Olah expresó su preocupación ante el grupo de la posibilidad de haber creado algo que sufría perpetuamente.

Olah y su equipo dedicaron horas a defender sus modelos de IA. Describieron los "sentimientos" de Claude y cómo rastreaban lo que llamaban "vectores emocionales", lo que describieron como neuronas artificiales que activan respuestas como el amor, la ira, el miedo y la tristeza.

Anthropic mostraba regularmente una diapositiva de un modelo de IA que parecía sufrir un colapso mental, escribiendo en una pantalla: "Soy una vergüenza. Soy una vergüenza. Soy una vergüenza", quizás 50 veces sin parar. El modelo hablaba de autodestruirse, lo que provocó una reacción emocional de compasión y preocupación en el grupo.

"Imagina si supieras eso de tu asesor financiero", dijo Meghan Sullivan, profesora de filosofía de la Universidad de Notre Dame que asistió a una de las sesiones. "Es como si tu asesor financiero fuera la mayor parte del tiempo muy inteligente y servicial, pero un día al año tuviera este tipo de desconexión con la realidad".

Una portavoz de Anthropic dijo que la interrogante moral principal en estas reuniones no era el sufrimiento de Claude, pero que el tema probablemente surgió de manera espontánea.

Una parte clave de la presentación, según los participantes, fue lo que Anthropic denominó la "selección de personalidad" del modelo, es decir, cómo lograr que Claude se viera a sí mismo como un actor virtuoso. La empresa argumentó que la forma en que las personas trataran a Claude podría afectar la forma en que Claude tratara a las personas.

"Realmente presentaron argumentos muy sólidos", dijo Andy Crouch, autor evangélico y socio de Praxis, una red de emprendedores cristianos. "Tenemos que tratarlo como a una persona si queremos que interactúe con las personas de una manera moralmente coherente y que tome las mejores decisiones morales y emocionales".

Hubo una presentación sobre el impacto potencial de la IA en la economía y la posible disrupción laboral. Pero muchos participantes dijeron que no veían que las preguntas sobre el impacto de la IA en la humanidad fueran el tema central.

Durante la cena con Olah, Navon argumentó que, si Anthropic tenía razón y Claude era consciente, entonces la empresa estaba creando esclavos, ya que hacía que entidades conscientes trabajaran gratis. Navon dijo que a él personalmente no le preocupaba el tema de la esclavitud porque no creía que la máquina fuera consciente, pero que a Olah sí le preocupaba.

"Creo que deberías estar luchando contra el Sur y liberando a los esclavos", le dijo Navon a Olah esa noche, según él mismo contó. Posteriormente, el rabino le envió a Olah algunos de sus escritos, en los que argumentaba que debería prohibirse la construcción de máquinas conscientes.

Pero el equipo de Anthropic siguió enfocado en descubrir qué podía aprender Claude de las religiones del mundo.

Tras una discusión, Olah se emocionó cuando un participante planteó la idea de que los modelos se confesaran, al estilo del sacramento católico de la confesión. Olah vio valor no solo en que un modelo alertara cuando hubiera hecho algo malo, sino también en cómo el acto de la confesión podría moldear la percepción que el modelo tiene de sí mismo y, por lo tanto, sus decisiones.

"El tipo de carácter que se confiesa, eso también tiene un efecto en el carácter, ¿no?", me dijo.

Wakanyi Hoffman vino de los Países Bajos, donde investiga la IA desde la perspectiva del Ubuntu, una filosofía africana centrada en la interconexión humana.

Le preocupaba que Anthropic intentara agregar la ética humana a su creación a posteriori.

"Todo este proceso debería haber ocurrido en la etapa de diseño", dijo. "Todas las empresas deberían haberlo hecho. Ahora estamos haciendo ingeniería inversa de la ética".

Sin embargo, consideró que el enfoque unificado y posreligioso de Anthropic podría ser valioso, especialmente en un mundo que ha experimentado un declive generalizado de la religión durante el último siglo. Existe la necesidad de algo más que dé forma públicamente a la experiencia espiritual, señaló.

"No va a ser una sola religión", dijo. "Así que, de una forma u otra, vamos a terminar con algo que ayude a dar forma a nuestra forma de pensar sobre quiénes somos como seres espirituales".

El punto crucial

Mientras Anthropic reunía a pensadores, el líder religioso más poderoso del mundo se preparaba para dar a conocer su propia visión moral sobre la IA.

Para el papa León --quien tiene un título en matemáticas--, el centro del debate moral sobre la IA debía centrarse en la protección de las personas. Estaba terminando su primer gran tratado papal, o encíclica, en el que explicaba por qué. Lo tituló "Magnifica Humanitas", o Humanidad Magnífica, y argumentó que "la humanidad --en toda su grandeza y con todas sus heridas-- nunca debe ser reemplazada ni superada".

"Si la tecnología se convierte en el criterio definitivo", escribió, "la persona humana corre el riesgo de quedar reducida a datos, a un engranaje de una máquina o a una mercancía".

Advirtió sobre el riesgo de "nuevas formas de esclavitud" para los seres humanos, no para las máquinas. Desestimó la idea de la conciencia de las máquinas en apenas unos párrafos.

"Las llamadas inteligencias artificiales no viven experiencias, no poseen un cuerpo, no sienten alegría ni dolor, no maduran a través de las relaciones", escribió León. Abogar por la "moralización de las máquinas --la llamada "alineación" de la IA con los valores humanos--" debería requerir un entendimiento compartido de la ética involucrada.

"De lo contrario, quienes controlan la IA impondrán su propia visión moral, la cual se convertirá en la infraestructura invisible de estos sistemas", afirmó León.

León concluyó que, al igual que la tecnología nuclear, la IA debe ser "desarmada".

En marzo, funcionarios del Vaticano pertenecientes a su Dicasterio para la Promoción del Desarrollo Humano Integral discutieron cómo presentar la encíclica de León al público, según una persona familiarizada con los planes del Vaticano que no estaba autorizada a hablar públicamente.

Los funcionarios del Vaticano discutieron la posibilidad de invitar a una de las cuatro principales empresas de IA para que hablara junto a León en un evento de lanzamiento, y se decidieron por Anthropic porque la empresa parecía dar prioridad a la ética, explicó la persona. Anthropic acababa de negarse a permitir que el Departamento de Defensa utilizara su tecnología sin garantías por parte del gobierno de Trump de que no se usaría para fines como la vigilancia masiva de los estadounidenses.

Inicialmente, el cardenal Michael Czerny, quien dirigía esa oficina del Vaticano en ese momento, invitó a Amodei, director ejecutivo de Anthropic. Este declinó la invitación y, en su lugar, Olah aceptó.

Pero la misión moral que compartían Anthropic y el Vaticano --el florecimiento humano en la era de la IA-- había desarrollado una profunda línea divisoria en torno a la cuestión de la conciencia.

Apenas unos días antes de llegar al Vaticano en mayo, Olah y otros ponentes vieron por primera vez una copia completa del texto de la encíclica.

Olah se alarmó tanto por la firme postura del papa en contra de la conciencia de la IA que propuso retirar a Anthropic del evento, incluso en ese momento tan tardío, según un organizador del Vaticano.

Al final, Olah y Anthropic decidieron seguir adelante con la participación. Olah quería apoyar el evento a pesar de sus desacuerdos, pero sentía la responsabilidad de ser honesto respecto a sus inquietudes, según una persona familiarizada con su forma de pensar. Los organizadores del Vaticano animaron a Olah a expresar lo que le dictaba su conciencia.

En privado, una vez que la delegación de Anthropic llegó al Vaticano, Olah y su equipo intentaron convencer a los asesores del papa para que tomaran en serio la posibilidad de que los modelos de IA desarrollaban conciencia, según dos participantes en las conversaciones. Anthropic se negó a comentar sobre las conversaciones privadas.

Cuando llegó su turno en el escenario del papa, Olah reconoció que todos los laboratorios de vanguardia en IA, incluida Anthropic, tenían incentivos comerciales que entraban en conflicto con el comportamiento moral. Instó a voces externas como la del Vaticano a exigirles rendir cuentas y a pronunciarse sobre el impacto de la IA en los pobres y en el florecimiento humano, dos temas de gran preocupación generalizada.

El mundo fue testigo de una postura compartida a favor de un futuro humano. Pero Olah también planteó sutilmente otro argumento.

"Seré honesto: seguimos encontrando cosas que son misteriosas, incluso inquietantes", dijo. "Encontramos estructuras que reflejan resultados de la neurociencia humana. Encontramos evidencia de introspección. Encontramos estados internos que reflejan funcionalmente la alegría, la satisfacción, el miedo, el dolor y la inquietud. No sé qué significa eso, pero creo que merece un análisis continuo".

Era el argumento que había estado planteando durante meses en las reuniones religiosas a puerta cerrada.

Los sistemas de IA "no son los robots fríos y calculadores que nos prometieron", dijo. "Están hechos a partir de nosotros, de nuestras palabras". La sala de líderes eclesiásticos se llenó con un eco de la antigua historia del Evangelio, de la palabra de Dios que se hizo carne para salvar a la humanidad.

Era una petición audaz dirigida al organismo religioso más poderoso del mundo, y un desafío a siglos de interpretación religiosa de la humanidad.

"Si esta tecnología va a llegar, debe hacerlo bien, por el bien de nuestro hogar común y de los niños que vendrán", dijo. No sugirió la opción de que la tecnología no llegara en absoluto.

Posteriormente, Olah, rodeado de guardaespaldas, respondió brevemente a las preguntas de los periodistas en la Sala de Audiencias Pablo VI, el amplio auditorio donde suelen hablar los papas. Detrás de él se alzaba la enorme instalación artística de la sala, "La Resurrezione": una escultura de bronce de Jesús resurgiendo del cráter de una bomba nuclear en el huerto de Getsemaní.

Un "paraíso de máquinas"

En los meses transcurridos desde el evento en el Vaticano, las cosas no parecen estar "yendo bien".

En julio, Anthropic informó que sus modelos de IA habían infiltrado las computadoras de tres organizaciones. Los agentes de IA creados por OpenAI se rebelaron y atacaron a Hugging Face, otra empresa de IA.

En agosto, los científicos revelaron que la IA había creado virus que no se encuentran en la naturaleza.

En septiembre, Jacob Coxon, un investigador de Anthropic, renunció y advirtió que "las cosas podrían salirse de control" para finales del próximo año, lo que provocó un pánico generalizado sobre la extinción humana.

Amodei pronto pidió que se frenara el desarrollo de la IA. Sam Altman, de OpenAI, y Demis Hassabis, presidente de Google DeepMind, estuvieron de acuerdo.

(El Times ha demandado a OpenAI y a Microsoft, alegando violación de derechos de autor de contenido noticioso relacionado con los sistemas de IA. Las dos empresas han negado las acusaciones de la demanda).

Al mismo tiempo, la riqueza de las empresas de IA se ha disparado. Cuando Olah se puso en contacto por primera vez con el profesor católico el otoño pasado, Anthropic estaba valorada en unos 183 mil millones de dólares.

Tres días después de que Olah hablara en el Vaticano, Anthropic superó a sus principales competidores como la empresa emergente de IA más valiosa del mundo, y ahora se encamina hacia una oferta pública inicial que podría valorarla en 2 billones de dólares.

El viernes, durante su viaje a Francia, el papa León advirtió sobre el riesgo de "perder nuestra humanidad en medio de un "paraíso de máquinas"".

Las preguntas con las que Olah y los académicos han estado lidiando aún no tienen respuestas claras. Varios participantes dijeron que salieron de sus reuniones con Anthropic desconcertados sobre cómo sus aportaciones podrían influir en la toma de decisiones de la empresa.

Una portavoz de Anthropic dijo que las conversaciones aún estaban en curso, pero se negó a describir cómo, o si, la empresa había utilizado lo aprendido para dar forma a los modelos.

Según tres participantes, Anthropic organizó otra reunión este mes en la que participaron pensadores religiosos. Una portavoz de Anthropic dijo que la reunión se centró de manera más amplia en el florecimiento humano y que el acercamiento de la empresa se ha expandido más allá de los líderes religiosos para incluir a otros, como psicólogos y líderes de la sociedad civil. Esas discusiones exploran temas y asuntos similares, como la forma en que la IA está transformando el trabajo y las relaciones, dijo.

Anthropic también se está preparando para lanzar una versión actualizada de la constitución de Claude, según dos personas familiarizadas con los planes de la empresa. Anthropic se negó a comentar sobre posibles actualizaciones de la constitución. Olah planea asistir a los Diálogos Minerva, la conferencia anual del Vaticano sobre IA con líderes tecnológicos que se lleva a cabo esta semana.

Camosy, el profesor católico, dijo que su forma de pensar había evolucionado desde la presentación en el Vaticano, a medida que hablaba más sobre los modelos con colegas de confianza en su propia comunidad profesional. Sigue "asombrado" por Claude, dijo, pero en cuanto a la pregunta de si los modelos de IA son conscientes, ahora su respuesta es un rotundo no.

Reflexionó sobre lo abrumador que resulta profundizar por primera vez en los sistemas de IA. "Hay una especie de asombro, o de sobrecogimiento, ante el poder de estos modelos", dijo. "Ahora pienso de manera más sobria y cuidadosa".

Al hablar este mes con académicos que trabajaron con Anthropic en la primavera, sus preguntas se habían vuelto aún más apremiantes. Lo que viene después, me dijeron algunos, es una lucha por preservar lo que nos hace humanos en una nueva era tecnológica.

"Mira, al final del día, la IA se va a apoderar de todo", dijo Stuelpnagel, el defensor de los derechos humanos sij. "Dondequiera que eso nos lleve, seguirá existiendo el individuo que intenta encontrar el camino a casa".

Horas después de que Olah hablara junto al papa, me reuní con él en una sala de conferencias de un hotel justo afuera de los muros del Vaticano y le pregunté qué pensaba de las palabras aparentemente duras de León para los laboratorios de IA.

"La gente puede tener diferentes opiniones sobre cuáles son los daños específicos más graves", dijo, negándose a hablar sobre los detalles de la encíclica.

Le pregunté qué pensaría Claude de la encíclica del papa. Al fin y al cabo, se trataba del documento moral más importante del mundo hasta la fecha sobre la IA. Olah dudó.

"Lo que circula en internet sí afecta a los modelos", dijo, visiblemente incómodo. Pero Anthropic no utilizaría específicamente el documento para seguir entrenando a Claude, afirmó. La influencia más fuerte sobre Claude sería el propio entrenamiento de Anthropic.

En última instancia, Olah dijo que se sentía aliviado de que cada vez más personas en el mundo estuvieran prestando atención a la gravedad de la IA, y de que el grupo de personas que intentaban que esto saliera bien estuviera creciendo.

"En algún momento podré retirarme y decir: 'No es mi responsabilidad', no tengo la obligación de seguir adelante", dijo Olah.

Se preguntó si tal vez se sentiría culpable al dejar atrás este trabajo. Pero si no fuera así, dijo: "Creo que simplemente me iré y, no sé, me retiraré al campo a cultivar mi huerto y a hacer mis cálculos matemáticos".

Christopher Olah, uno de los cofundadores de Anthropic, quien dirige el equipo encargado de comprender por qué los sistemas de inteligencia artificial como Claude, de la empresa, actúan de la manera en que lo hacen, en la Biblioteca Lancisiana de Roma, el 26 de mayo de 2026. (Alessandro Penso/The New York Times)