Qué ocurre cuando la inteligencia artificial interviene en las salas de conciertos

Especial para Infobae de The New York Times.

Cuando, a principios de este año, la compositora y vocalista Jen Wang subió al escenario del Monk Space en Los Ángeles para interpretar “The Duke of York” (1971) de Alvin Lucier, cantó con una versión digital de su voz, sintetizada por inteligencia artificial.

Esta fue la primera vez que había hecho tal cosa. “Pensé que iba a ser muy desconcertante”, señaló Wang en una entrevista, “pero se sintió como si estuviera colaborando con este instrumento que era y no era yo”.

Isaac Io Schankler, un compositor y profesor de música en la Universidad Politécnica Estatal de California, campus Pomona, concibió esta puesta en escena y subió con Wang al escenario para monitorear y manipular el autocodificador variacional de audio en tiempo real (RAVE, por su sigla en inglés), el algoritmo de síntesis de audio neuronal que simulaba la voz de Wang.

RAVE es un ejemplo de aprendizaje automático, una categoría específica de la tecnología de inteligencia artificial con la que los músicos han experimentado desde la década de 1990, pero que ahora se ve definida por un rápido desarrollo, la llegada de herramientas musicales con inteligencia artificial disponibles para todo público y la influencia dominante de iniciativas notables por parte de grandes empresas de tecnología.

Sin embargo, en última instancia, Schankler usó RAVE en esa interpretación de “The Duke Of York” porque afirmó que su capacidad de mejorar el sonido de un artista determinado “parecía resonar temáticamente con la pieza”. Para que RAVE funcionara, el dúo tuvo que entrenarlo mediante un corpus personalizado de grabaciones. “Canté y hablé durante tres horas seguidas. Canté todas las canciones que se me ocurrieron”, recuerda Wang.

RAVE fue desarrollado en 2021 por Antoine Caillon a lo largo de sus estudios de posgrado en el IRCAM, un instituto fundado por el compositor Pierre Boulez en París. “El propósito de RAVE es reconstruir la información con la que se alimenta”, señaló. “El modelo comprime la señal de audio que recibe y trata de extraer las características sobresalientes del sonido con el fin de volver a sintetizarlo según convenga”.

Tina Tallon, compositora y profesora de Inteligencia Artificial y Artes en la Universidad de Florida, afirmó que los músicos han usado diversas tecnologías relacionadas con la inteligencia artificial desde mediados del siglo XX.

“Hay sistemas que se basan en reglas, que es lo que solía ser la inteligencia artificial desde las décadas de 1960, 1970 y 1980”, explicó, “y también existe el aprendizaje automático, el cual se volvió más popular y práctico en la década de 1990 e implica absorber grandes cantidades de datos con el propósito de deducir cómo funciona un sistema”.

Hoy en día, las novedades en inteligencia artificial que solían dedicarse a aplicaciones especializadas inciden en casi todos los aspectos de la vida y ya afectan la manera en que la gente crea música. Además de desarrollar RAVE, Caillon ha contribuido a dos proyectos dirigidos por Google: SingSong, el cual genera acompañamientos para melodías vocales grabadas, y MusicLM, otro generador de texto a música. Las innovaciones en otras áreas también están impulsando nuevas tecnologías para la música: WavTool, una plataforma de producción de música con inteligencia artificial lanzada hace poco que integra por completo el GPT-4 de OpenAI para permitirles a los usuarios crear música mediante descripciones de texto.

Para Tallon, la diferencia de alcance entre el uso personalizado de la inteligencia artificial por parte de compositores individuales frente al uso generalizado de estas nuevas tecnologías es motivo de preocupación.

“Estamos viendo que se recopilan diferentes tipos de conjuntos de datos por distintas razones”, señaló. “Herramientas como MusicLM se entrenan a partir de conjuntos de datos que se obtienen de miles de horas de audio etiquetado de YouTube y de otros lugares de internet.

“Cuando yo diseño una herramienta para mi uso personal, veo los datos que se relacionan con mis prioridades sónicas. Pero las tecnologías para el público usan conjuntos de datos que se concentran, por ejemplo, en ideales estéticos que se alinean más con los sistemas clásicos occidentales para organizar tonos y ritmos”.

La preocupación sobre el sesgo de las herramientas de inteligencia artificial relacionadas con la música va mucho más allá de la estética. A Enongo Lumumba-Kasongo, profesora de Música de la Universidad Brown, también le preocupa la manera en que estas tecnologías pueden reproducir las jerarquías sociales.

“Existe un discurso racial muy específico que me tiene sumamente preocupada”, señaló. “No creo que sea una coincidencia que el arte hiphop sea el campo de pruebas para comprender cómo la inteligencia artificial afecta a los artistas y a su arte dada la historia de siglos de cooptación y robo de las formas expresivas de la comunidad negra por parte de quienes están en el poder”.

La popularidad de las recientes canciones generadas por inteligencia artificial que imitan a artistas como Drake, The Weekend, Travis Scott y otros han avivado los temores de Lumumba-Kasongo. “Lo que más me preocupa acerca del Drake y el Travis Scott creados por la inteligencia artificial es que su música es muy escuchable y pone en duda la necesidad de que haya artistas luego de que ya articularon una ‘voz’ característica”.

Para Schankler, existen diferencias fundamentales entre usar RAVE para sintetizar nuevas versiones de la voz de un colaborador y usar la inteligencia artificial para imitar anónimamente a un músico vivo. “Yo no creo que sea muy interesante copiar con exactitud la voz de alguien porque esa persona ya existe”, comentaron. “Me interesan más las nuevas posibilidades sónicas de esta tecnología. Y lo que me gusta de RAVE es que puede funcionar con un conjunto pequeño de datos que genera una persona que da su permiso y participa en el proceso”.

El compositor Robert Laidlow también usa la inteligencia artificial en su trabajo para considerar las implicaciones peligrosas de la tecnología. “Silicon”, que se estrenó en octubre con la Orquesta Filarmónica de la BBC bajo la dirección de Vimbayi Kaziboni, usa herramientas para explorar temas derivados del potencial disruptivo y transformador de la tecnología.

Laidlow describió “Silicon” como algo “acerca de la tecnología en tanto que usa la tecnología” y añadió: “La estética primordial de cada movimiento de esta obra son las preguntas: ‘¿Qué significa que una orquesta use esta tecnología?’ y ‘¿Cuál sería el sentido de una orquesta si tuviéramos una tecnología que pudiera imitarla en todos los sentidos?’”.

El primer movimiento completamente acústico de la obra presenta una combinación de la música original de Laidlow y las ideas que adaptó del resultado, explicó, de una “inteligencia artificial generativa simbólica que fue entrenada con partituras de compositores de toda la historia”. El segundo movimiento presenta un instrumento digital generado por inteligencia artificial, interpretado por el pianista de la orquesta que “en ocasiones imita a la orquesta y a veces produce sonidos asombrosos y extraños”.

En el último movimiento, la orquesta se acompaña de sonidos generados por un programa de síntesis neuronal llamado PRiSM-SampleRNN que se parece a RAVE y fue entrenado con un gran archivo de transmisiones de radio de la Filarmónica de la BBC. Laidlow describe el audio resultante como “una interpretación de música de orquesta sintetizada, voces de presentadores fantasma y los sonidos que la inteligencia artificial ha aprendido de los espectadores”.

La dimensión de “Silicon” contrasta con el intimismo de Schankler y la interpretación de Wang de “The Duke of York”. Pero ambos casos ilustran las posibilidades que tiene la inteligencia artificial de potenciar las prácticas musicales y la expresión humana. Además, es importante mencionar que, al usar pequeños conjuntos de datos seleccionados especialmente para colaboradores concretos, estos proyectos intentan eludir los problemas éticos que muchas personas han detectado en las tecnologías de mayor escala.

La inteligencia artificial no es nueva dentro de la música clásica, pero su reciente y rápido desarrollo tienen preocupados y cautivados a los compositores. (Derek Abella/The New York Times).