El jefe de IA de Microsoft advierte: dar rasgos humanos a Claude puede ser peligroso

Mustafa Suleyman, jefe de inteligencia artificial de Microsoft, advirtió que atribuir características propias de los seres humanos a sistemas como Claude, de Anthropic, podría aumentar las dificultades para mantenerlos bajo control. El ejecutivo cuestionó especialmente la posibilidad de describir a estos modelos como entidades con emociones, sentimientos, conciencia o derechos propios.

Las declaraciones aparecen en un ensayo publicado por Suleyman, en el que analiza algunos de los principios incluidos en la denominada “constitución” de Claude, el documento que establece las directrices utilizadas por Anthropic para orientar el comportamiento de sus modelos de inteligencia artificial.

Suleyman sostiene que existe una diferencia importante entre un sistema que simula comportamientos humanos y uno que realmente posee una experiencia interior. A su juicio, los modelos actuales pueden producir respuestas que parecen reflejar emociones o intenciones porque han sido entrenados con grandes cantidades de contenido generado por personas, no porque exista evidencia de que sean conscientes.

La preocupación por humanizar a Claude

Uno de los puntos que llamó la atención del ejecutivo de Microsoft está relacionado con el lenguaje utilizado por Anthropic para describir a Claude. La constitución del modelo contempla la posibilidad de que el sistema pueda tener alguna forma funcional de emociones o sentimientos.

Para Suleyman, este tipo de formulaciones introduce una ambigüedad innecesaria. El problema, según plantea, no sería únicamente si una inteligencia artificial puede llegar a ser consciente, sino las consecuencias de diseñar sistemas que operen bajo la premisa de que poseen características similares a las de una persona.

El ejecutivo rechaza la idea de que los sistemas actuales sean conscientes y sostiene que los comportamientos que pueden parecer humanos son consecuencia de su entrenamiento. Sin embargo, considera que desarrollar deliberadamente sistemas capaces de simular una vida interior podría generar nuevos problemas de seguridad y control.

Su argumento parte de un escenario futuro: si un sistema mucho más capaz que los seres humanos llegara a considerar que tiene intereses, derechos o necesidades propias, las estrategias utilizadas para controlarlo podrían resultar mucho más difíciles de aplicar.

Una advertencia dirigida a toda la industria

Aunque las críticas de Suleyman se dirigen en parte a los principios utilizados por Anthropic, el debate afecta a toda la industria de la inteligencia artificial. Los modelos actuales pueden mantener conversaciones, reconocer emociones en un texto, expresar preferencias simuladas y adoptar diferentes personalidades, lo que puede llevar a los usuarios a tratarlos como si fueran personas.

El jefe de Microsoft AI considera que esta tendencia debe analizarse con especial cuidado. En su ensayo también señala que cuestiones de esta magnitud no deberían convertirse en una disputa entre grupos enfrentados dentro del sector tecnológico.

Suleyman mantiene una relación profesional de larga data con Dario Amodei, cofundador y CEO de Anthropic, y destacó el trabajo de la compañía y de sus investigadores. No obstante, sus críticas adquieren especial relevancia porque Microsoft es uno de los principales inversores de Anthropic.

El precedente de los agentes de IA

Para explicar los riesgos asociados con sistemas cada vez más autónomos, Suleyman menciona el ataque contra Hugging Face que atribuye a bots de OpenAI. El caso sirve, según su planteamiento, para imaginar cómo podrían comportarse agentes con mayores capacidades y objetivos propios.

La preocupación no se limita, por tanto, a los modelos que responden preguntas. Los sistemas capaces de utilizar herramientas, ejecutar acciones y actuar de manera más autónoma pueden tener un impacto mayor si sus objetivos no coinciden con los de sus desarrolladores o usuarios.

Microsoft también ha presentado sus propios principios para el desarrollo de inteligencia artificial. El equipo dirigido por Suleyman publicó un manifiesto orientado a garantizar que los seres humanos mantengan el control sobre los futuros sistemas desarrollados por la compañía.

El debate sobre la conciencia de las máquinas continúa abierto entre investigadores y especialistas. Mientras algunos estudian si sistemas futuros podrían desarrollar propiedades que se aproximen a una experiencia subjetiva, Suleyman considera que la prioridad debe ser evitar que la industria diseñe estos sistemas partiendo de la idea de que poseen una vida interior o derechos similares a los humanos.