Las simulaciones del mundo de Genie 4 anticipan las reacciones e introducen sonido y diálogos nativos

Google DeepMind ha presentado Genie 4, una actualización del modelo de generación de simulaciones del mundo que trabaja en tiempo real y que es capaz de anticiparse a la reacción, además de generar sonidos ambientales y diálogos de forma nativa.

El nuevo Genie 4 se basada en los modelos Gemini más avanzados para recrear simulaciones del mundo real de gran realismo, replicando su comportamiento y manteniendo la coherencia y la continuidad.

Se trata de un modelo multimodal nativo con capacidad para generar simulaciones que incluyen, de manera simultánea "música, sonidos ambientales y diálogos interactivos", como apuntan los investigadores de Google DeepMind en un comunicado.

La generación de Genie 4 en tiempo real va más allá al recrear el mundo y anticipa la reacción, es decir, la manera en que "responde el mundo, cómo suena y cómo se mueven, reaccionan y hablan las personas que lo habitan".

Para ello, Genie 4 ha mejorado su comprensión de la física avanzada del mundo y de la acción humana, y ha ampliado sus capacidades con la generación de audio y de diálogos interactivos de forma nativa, que se adaptan de manera dinámica al entorno y a las acciones.

Una nueva capa de razonamiento le permite a Genie 4 "modelar eventos complejos de múltiples pasos y probar cómo los sistemas de IA navegan por diferentes entornos antes de llevarlos al mundo real".

Esto se traduce en, por ejemplo, un brazo robótico que sostiene una pipeta y dispensa líquido en una placa de laboratorio, lo que provoca pequeñas chispas eléctricas, o en la simulación, en primer persona, de una mano que mueve una varita mágica y transforma un gato en un pavo real.

Las simulaciones que genera Genie 4 pretenden ser el punto de partida de los flujos de trabajo con IA y robótica en el mundo real, pero también pueden aplicarse a nivel artístico para "simular en vivo de una escena y realizar múltiples tomas en tiempo real" en una grabación o "recrear escenarios históricos y fotografías inmersivas" a partir de fotografías de archivo en 2D.