Microsoft solicita una patente para modificar voz y labios en emisiones en directo mediante IA

Microsoft solicitó registrar una patente para un sistema de IA que modifica en tiempo real las declaraciones de un usuario en transmisiones en directo. El documento, localizado por Patentlyze, plantea que la herramienta podría sustituir expresiones concretas según el idioma, la edad o la ubicación del espectador, y ajustar al mismo tiempo el movimiento de los labios para que el cambio resulte imperceptible.

La solicitud abre un debate sobre los límites de la edición audiovisual mediante inteligencia artificial, en particular por el riesgo de que ese tipo de ajustes se utilice para desinformar sin que el público lo perciba.

Cómo funcionaría la IA para modificar el audio en directo

El sistema descrito en la patente analiza el audio de una emisión en directo y detecta palabras concretas para reemplazarlas de forma automática por otras.

Según el documento, estas sustituciones no serían uniformes para toda la audiencia. Podrían variar en función de la información asociada al perfil de cada usuario, como su idioma nativo, su edad o su ubicación geográfica.

Microsoft plantea que la herramienta sirva para mejorar la experiencia de visualización mediante la eliminación de pausas innecesarias, expresiones de relleno o palabras malsonantes durante la transmisión.

La propuesta incluye además la posibilidad de sustituir términos a partir de búsquedas realizadas en internet por el propio usuario. El texto de la patente no especifica si el sistema notificaría al espectador sobre los cambios realizados ni de qué manera se justificarían esas modificaciones.

Sincronización labial: el detalle que evitaría detectar los cambios

Uno de los elementos que distingue a esta patente es la incorporación de mecanismos para adaptar la sincronización labial del video a las nuevas palabras generadas por la inteligencia artificial.

Esto significa que el movimiento de la boca del hablante se ajustaría digitalmente para coincidir con el audio modificado, de modo que el espectador vería a una persona pronunciar frases distintas de las originales sin percibir ninguna diferencia visual.

Esta combinación entre edición de voz y ajuste labial es la que genera mayor inquietud, ya que elimina cualquier indicio visible de manipulación del contenido para quien observa la transmisión.

El alcance real de la patente y su posible uso comercial

Como ocurre con cualquier solicitud de este tipo, el registro de una patente no garantiza que la tecnología descrita llegue a convertirse en un producto comercial disponible para el público.

No obstante, la existencia del documento refleja el interés creciente de las grandes tecnológicas por desarrollar herramientas de inteligencia artificial capaces de modificar y adaptar contenidos audiovisuales de forma instantánea, durante la propia emisión en directo.

Nueva generación de voz: modelos en tiempo real que escuchan, razonan y actúan

La interacción por voz se consolida como uno de los métodos más intuitivos y prácticos para operar con software en la vida cotidiana. Ya sea para solicitar asistencia al conducir, reorganizar un itinerario mientras se transita por un aeropuerto o resolver gestiones cotidianas sin recurrir al teclado, la voz elimina fricciones y facilita el acceso inmediato en el idioma que el usuario prefiera.

Sin embargo, el desarrollo de herramientas de voz verdaderamente eficaces exige trascender la simple fluidez acústica o la baja latencia. Un agente de voz de alto rendimiento debe captar con precisión la intención del interlocutor, retener el contexto, adaptarse a giros repentinos en la conversación, accionar herramientas en segundo plano y formular respuestas contextualizadas al instante.

Para responder a estas exigencias, la API incorpora tres nuevos modelos especializados en audio en tiempo real:

• GPT-Realtime-2: Primer modelo de voz dotado de capacidades de razonamiento de clase GPT-5, diseñado para procesar instrucciones complejas, retener contexto y mantener un diálogo fluido y natural.
• GPT-Realtime-Translate: Solución de interpretación en tiempo real que admite más de 70 idiomas de entrada y traduce a 13 idiomas de salida, preservando con precisión la cadencia y el ritmo del emisor.
• GPT-Realtime-Whisper: Motor de transcripción de voz a texto ultrarrápido que convierte las palabras en texto de forma sincronizada con la pronunciación del hablante.

En conjunto, este ecosistema marca un cambio de paradigma respecto a las arquitecturas tradicionales de pregunta y respuesta. Al integrar de manera simultánea la capacidad de escuchar, razonar, traducir, transcribir y ejecutar acciones en tiempo real, estos modelos permiten a los desarrolladores construir agentes conversacionales autónomos, versátiles y plenamente operativos.