Netflix presenta VOID, una IA de código abierto para eliminar objetos de vídeos y modificar las interacciones con ellos

Netflix ha presentado VOID, un modelo de inteligencia artificial (IA) capaz de eliminar objetos en movimiento de vídeos, así como de modificar aquellas interacciones con ellos a través de una reconstrucción.

Actualmente, los métodos para eliminar objetos de vídeos se enfocan en rellenar el contenido de lo que hay tras el objeto y corregir sus sombras y reflejos. Sin embargo, esta labor se complica cuando el objeto eliminado tiene interacciones con otros, lo que termina en resultados poco creíbles.

Frente a este problema, Netflix ha desarrollado un modelo basado en la arquitectura CogVideoX y optimizado para el tratamiento de imágenes en vídeos mediante un condicionamiento de máscara cuádruple sensible a la interacción, como explican en el repositorio Hugging Face.

Concretamente, VOID trabaja con una máscara de cuatro valores que codifica el objetivo principal para eliminarlo, las zonas superpuestas, las partes con la que interactúa y el fondo para mantenerlo.

De este modo, VOID realiza una primera pasada con el objeto y sus interacciones eliminadas. Si se detecta un error, se realiza una segunda pasada con el objetivo de estabilizar la forma del objeto siguiendo la trayectoria analizada.

Para entrenar al modelo, el equipo de Netflix junto a la Universidad de Sofia (Bulgaria) se han apoyado en dos fuentes: HUMOTO, para las interacciones entre humanos y objetos para renderizadas en Blender con simulación física; y Kubric, para interacciones solo entre objetos mediante 'Google Scanned Objects'.

VOID, que responde a las siglas de Video Object and Interaction Deletion (eliminación de objetos e interacciones de vídeo), es un modelo de código abierto y se puede encontrar en repositorios como GitHub o Hugging Face, por lo que tanto creadores como investigadores pueden probarlo y experimentar con él de forma gratuita.

Gracias al modelo VOID, se pueden eliminar a personas o modificar los vídeos al antojo de los usuarios. Para mostrar algunos resultados, la página oficial de VOID ha incluido demostraciones con diferentes modos de uso para comprobar cómo funciona este modelo frente a otros.

Uno de los ejemplos más claros es el que VOID elimina una prensa que aplasta a un pato de goma. Mientras el resto de modelos elimina la prensa y mantiene al pato de goma aplastado, VOID mantiene al pato intacto, editando así el objeto con el que interacciona el eliminado.

No obstante, aunque sea un avance, esta tecnología también presenta riesgos potenciales. Un uso indebido de ella podría ayudar a generar contenido manipulado y fomentar la desinformación, difuminando más la línea entre realidad y ficción.