Amazon Prime prueba un sistema de doblaje con IA que también genera efectos visuales

Amazon está probando una nueva tecnología de doblaje que combina inteligencia artificial (IA) y efectos visuales para sincronizar los movimientos de los labios de los actores con el audio en otros idiomas.

La compañía asegura que este sistema busca mejorar la experiencia de los espectadores y hacer que los contenidos doblados resulten más naturales. La primera producción en utilizarlo es Maxton Hall, una de las series internacionales más exitosas de Prime Video.

La tecnología comenzó a utilizarse desde el 10 de setiembre en las dos primeras temporadas de la producción alemana. Por ahora, la sincronización labial está disponible únicamente para la versión doblada al inglés, aunque Amazon ha confirmado que pretende llevarla posteriormente a más contenidos.

Así funciona el nuevo doblaje de Amazon

El sistema no reemplaza las voces de los actores de doblaje por voces generadas completamente mediante inteligencia artificial. En su lugar, Amazon utiliza IA y efectos visuales para modificar la imagen y conseguir que los movimientos de los labios de los personajes coincidan con las palabras que están escuchando los espectadores.

Esto permite conservar el trabajo de doblaje realizado por actores humanos mientras se adapta visualmente la interpretación a un idioma diferente.

El objetivo es reducir una de las diferencias más evidentes que pueden aparecer al ver una producción extranjera doblada: cuando el movimiento de la boca del personaje no coincide con las palabras que está pronunciando.

Amazon describe la tecnología como una herramienta aplicada de forma responsable y sostiene que puede proporcionar una experiencia de visualización más agradable y accesible para los usuarios de Prime Video.

Maxton Hall estrena la tecnología

La primera serie elegida para probar este sistema es Maxton Hall, un drama romántico alemán ambientado en una escuela privada y basado en las novelas Save Me de la escritora Mona Kasten.

La producción se ha convertido en uno de los mayores éxitos internacionales de Prime Video. Amazon la describe como su serie original internacional más vista, lo que convierte a Maxton Hall en un escenario especialmente relevante para probar una tecnología pensada para contenidos destinados a audiencias de diferentes países.

Las dos primeras temporadas ya incorporan la nueva sincronización labial en sus versiones correspondientes. La tercera temporada también utilizará el sistema cuando llegue a Prime Video el próximo 9 de diciembre.

Sin embargo, Amazon ha indicado que en esta etapa la tecnología estará disponible únicamente para el doblaje al inglés.

La IA modifica la imagen, no solo el audio

El uso de inteligencia artificial en el doblaje no es completamente nuevo. Las herramientas actuales permiten generar, traducir y adaptar voces con una rapidez que hace algunos años era difícil de conseguir.

La propuesta de Amazon añade otra capa al proceso: modificar determinados elementos visuales para que el rostro del actor acompañe de manera más precisa al nuevo audio.

En la práctica, esto significa que el espectador no solo escucha las palabras traducidas, sino que también puede percibir una mayor correspondencia entre el diálogo y el movimiento de la boca.

Los efectos visuales desempeñan un papel importante porque permiten realizar estos ajustes sin tener que volver a grabar las escenas originales.

Amazon quiere llevarlo a más producciones

La compañía no ha presentado esta tecnología como una función exclusiva de Maxton Hall. Amazon ha confirmado su intención de extender el sistema a otros contenidos, aunque todavía no ha especificado qué series o películas serán las siguientes ni cuándo comenzará la expansión.

El desarrollo refleja una tendencia creciente dentro de las plataformas de streaming: utilizar inteligencia artificial para facilitar la distribución internacional de sus producciones.

En este caso, Amazon busca mejorar un proceso que ya depende de actores, traductores y equipos de producción, incorporando herramientas capaces de adaptar también la parte visual de una escena.

Por ahora, el sistema se encuentra en una etapa inicial y su alcance es limitado. La prueba con Maxton Hall permitirá a Amazon evaluar cómo funciona la sincronización labial en una producción completa y si puede convertirse en una herramienta habitual para sus futuros doblajes.