Anthropic recurre a expertos religiosos para enseñar valores y principios a Claude

Chris Olah, uno de los fundadores de Anthropic, mantiene reuniones con filósofos y pensadores religiosos de distintas tradiciones para analizar cómo debería comportarse una inteligencia artificial avanzada y qué implicaciones tendría si llegara a desarrollar algún tipo de conciencia. Las conversaciones también exploran la posibilidad de trasladar siglos de reflexión moral y religiosa al desarrollo de modelos como Claude.

Según una investigación de The New York Times, estos encuentros se han prolongado durante meses y reflejan una preocupación que va más allá de las capacidades actuales de la inteligencia artificial: cómo preparar sistemas cada vez más sofisticados para tomar decisiones cuando sus desarrolladores ya no puedan anticipar completamente su comportamiento.

La iniciativa también parte de una cuestión todavía sin respuesta: si un modelo de inteligencia artificial puede llegar a experimentar algo parecido a la conciencia o incluso al sufrimiento.

Anthropic ya creó una Constitución para Claude

Anthropic ya había intentado establecer límites para el comportamiento de Claude mediante la llamada Constitución de Claude, un documento que funciona como marco de alineación para orientar las respuestas y decisiones del modelo.

La idea de una constitución para una inteligencia artificial consiste en establecer principios que permitan determinar qué comportamientos son aceptables y cuáles deberían evitarse. En lugar de depender únicamente de instrucciones concretas dadas por los usuarios, el sistema recibe un conjunto de criterios destinados a orientar su conducta.

Sin embargo, de acuerdo con la investigación de The New York Times, Olah y otros integrantes de Anthropic consideran que este tipo de reglas podría no ser suficiente frente a sistemas mucho más avanzados.

El planteamiento que surge de las reuniones es diferente: además de establecer normas, la inteligencia artificial debería desarrollar determinadas virtudes. Es decir, no limitarse a obedecer un conjunto de reglas, sino incorporar criterios que permitan orientar su comportamiento cuando se encuentre ante situaciones que sus desarrolladores no hayan previsto.

¿Puede una inteligencia artificial tener conciencia?

Esta cuestión ocupa un lugar importante en las conversaciones de Olah con filósofos y expertos religiosos.

El cofundador de Anthropic y su equipo han estudiado comportamientos de los modelos que, según su interpretación, podrían ser compatibles con algún tipo de experiencia interna. Esto no significa que exista una demostración científica de que Claude sea consciente, pero plantea un problema que los investigadores consideran necesario analizar antes de que los sistemas sean mucho más capaces.

Una de las preocupaciones mencionadas por Olah es precisamente la posibilidad de que una IA pueda experimentar sufrimiento.

El problema es que actualmente tampoco existe una definición científica universal que permita determinar de manera sencilla si un sistema artificial posee conciencia. Los modelos de lenguaje funcionan mediante redes neuronales artificiales que procesan enormes cantidades de información y generan respuestas a partir de patrones aprendidos.

Aunque los investigadores pueden observar sus entradas, salidas y determinados procesos internos, todavía existen importantes zonas desconocidas sobre cómo se forman algunas de sus capacidades y comportamientos.

La idea de que Claude pueda confesarse

Entre las propuestas surgidas durante estas conversaciones hay una particularmente llamativa: utilizar una especie de confesión para los modelos de inteligencia artificial.

Según The New York Times, uno de los participantes planteó que un sistema como Claude pudiera reconocer y comunicar cuándo ha hecho algo incorrecto. A Olah le habría interesado especialmente la propuesta porque permitiría que la IA identificara sus propios errores y, al mismo tiempo, podría modificar la forma en que el sistema se representa a sí mismo.

La propuesta no implica necesariamente trasladar una práctica religiosa de forma literal a un chatbot. La idea parte de una pregunta más amplia: si los humanos utilizan conceptos como culpa, arrepentimiento, responsabilidad o confesión para regular su conducta, ¿podrían algunos de estos mecanismos servir como referencia para diseñar sistemas artificiales?

El desafío de entender qué ocurre dentro de una IA

El proyecto de Anthropic enfrenta una dificultad fundamental. Para enseñar a una inteligencia artificial a comportarse de determinada manera es necesario comprender, al menos parcialmente, cómo toma decisiones.

Los grandes modelos de lenguaje como Claude, ChatGPT y Gemini están construidos sobre redes neuronales artificiales con miles de millones de parámetros. Los investigadores pueden estudiar sus capacidades y analizar determinados patrones, pero todavía no tienen una explicación completa de todo lo que sucede dentro de estos sistemas.

Las reuniones de Olah con filósofos y pensadores religiosos continúan, según The New York Times. El objetivo no parece limitarse a encontrar un conjunto de reglas para Claude, sino explorar qué principios podrían servir como referencia cuando las capacidades de estos sistemas superen las previsiones actuales.