Recrean la Holodeck de Star Trek con ChatGPT y recursos de videojuegos

Utilizando IA, la Escuela de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania ha creado una herramienta que puede generar entornos 3D, impulsados por el lenguaje cotidiano. En 'Star Trek: The Next Generation', el Capitán Picard y la tripulación del Enterprise aprovecha la holocubierta, una sala vacía capaz de generar entornos 3D, para prepararse para misiones y entretenerse, simulando desde exuberantes selvas hasta el Londres de Sherlock Holmes. Los entornos creados en la holocubierta, profundamente inmersivos y totalmente interactivos, son infinitamente personalizables y no utilizan más que el lenguaje: la tripulación sólo tiene que pedirle a la computadora que genere un entorno, y ese espacio aparece en la holocubierta. Hoy en día, los entornos virtuales interactivos también se utilizan para entrenar robots antes de su implementación en el mundo real en un proceso llamado "Sim2Real". Sin embargo, los entornos virtuales interactivos han sido sorprendentemente escasos. "Los artistas crean manualmente estos entornos", dice en un comunicado Yue Yang, estudiante de doctorado en los laboratorios de Mark Yatskar y Chris Callison-Burch, profesores asistentes y asociados en Informática y Ciencias de la Información (CIS), respectivamente. "Esos artistas podrían pasar una semana construyendo un único entorno", añade Yang, tomando nota de todas las decisiones involucradas, desde el diseño del espacio hasta la ubicación de los objetos y los colores empleados en la representación. Esa escasez de entornos virtuales es un problema si se quiere entrenar robots para navegar por el mundo real con todas sus complejidades. Las redes neuronales, los sistemas que impulsan la revolución de la IA actual, requieren cantidades masivas de datos, lo que en este caso significa simulaciones del mundo físico. "Los sistemas de IA generativa como ChatGPT se entrenan con billones de palabras, y los generadores de imágenes como Midjourney y DALLE se entrenan con billones de imágenes", dice Callison-Burch. "Sólo tenemos una fracción de esa cantidad de entornos 3D para entrenar la llamada 'IA incorporada'. Si queremos utilizar técnicas de IA generativa para desarrollar robots que puedan navegar de forma segura en entornos del mundo real, entonces necesitaremos crear millones o billones de entornos simulados". La nueva herramienta se denomina Holodeck, un sistema para generar entornos 3D interactivos, que lleva el nombre de su antepasado Star Trek. Genera una gama prácticamente ilimitada de entornos interiores, utilizando inteligencia artificial para interpretar las solicitudes de los usuarios. "Podemos utilizar el lenguaje para controlarlo", dice Yang. "Puedes describir fácilmente cualquier entorno deseado y entrenar a los agentes de IA incorporados". Holodeck aprovecha el conocimiento integrado en los grandes modelos de lenguaje (LLM), los sistemas subyacentes a ChatGPT y otros chatbots. "El lenguaje es una representación muy concisa del mundo entero", dice Yang. De hecho, los LLM resultan tener un grado sorprendentemente alto de conocimiento sobre el diseño de espacios, gracias a la gran cantidad de texto que ingieren durante la formación. En esencia, Holodeck funciona involucrando a un LLM en una conversación, utilizando una serie cuidadosamente estructurada de consultas ocultas para dividir las solicitudes de los usuarios en parámetros específicos. Así como el Capitán Picard podría pedirle al Holodeck de Star Trek que simule un bar clandestino, los investigadores pueden pedirle al Holodeck de la Universidad de Pensilvania que cree "un apartamento 1b1b de un investigador que tiene un gato". El sistema ejecuta esta consulta dividiéndola en varios pasos: primero se crean el piso y las paredes, luego la puerta y las ventanas. A continuación, Holodeck busca en Objaverse, una vasta biblioteca de objetos digitales prefabricados, el tipo de mobiliario que se podría esperar de un espacio así: una mesa de café, una torre para gatos, etc. Finalmente, Holodeck consulta un módulo de diseño, que los investigadores diseñaron para restringir la ubicación de los objetos, de modo que no termines con un inodoro que se extiende horizontalmente desde la pared.