Un nuevo sistema del MIT permite que los robots detecten y corrijan errores en su propia memoria

Un robot que confunde un desfibrilador con un extintor puede fallar ante una urgencia. Ese tipo de errores parte de una limitación frecuente en los sistemas autónomos: las imágenes tomadas desde lejos, con poca luz o desenfocadas pueden quedar registradas con una descripción equivocada.

Investigadores del Instituto Tecnológico de Massachusetts (MIT) presentaron un sistema que identifica y corrige recuerdos imprecisos de los robots.

La herramienta, llamada UQ-DAAAM, evalúa el grado de incertidumbre de las descripciones almacenadas por una máquina y utiliza nuevas imágenes del mismo objeto para ajustar la información.

El objetivo es que los equipos móviles puedan revisar su propia memoria antes de actuar sobre datos erróneos dentro de una vivienda, una fábrica o cualquier otro entorno.

El sistema compara distintas vistas de un mismo objeto

La propuesta parte de DAAAM, un sistema de memoria robótica desarrollado previamente por el mismo grupo. Ese modelo emplea un modelo de lenguaje visual para generar descripciones de los elementos que aparecen en las fotografías tomadas por las cámaras del robot. Luego guarda esos textos dentro de una representación tridimensional del espacio.

El problema surge cuando la cámara registra un objeto de manera parcial o desde una distancia que impide reconocerlo con claridad.

En uno de los ejemplos difundidos por el MIT, el sistema inicial confundió una chimenea gris ubicada sobre un tejado con una ardilla. Esa etiqueta podía permanecer en la memoria del robot aun después de que este recorriera el lugar y reuniera más información.

“Sin posibilidad de corregirse, este recuerdo erróneo persistiría a medida que el robot avanza en su entorno, lo que podría afectar a las aplicaciones posteriores”, afirmó Harry Zhang, estudiante de posgrado del MIT y coautor de la investigación.

UQ-DAAAM incorpora mecanismos para medir la fiabilidad de cada descripción. Primero, calcula la confianza del modelo en las palabras que eligió para definir un objeto. Después, contrasta esa respuesta con otros subtítulos generados a partir de imágenes del mismo elemento vistas desde ángulos diferentes.

La incertidumbre determina cuándo revisar una descripción

Los investigadores reunieron esas dos fuentes de información en un indicador único. Si el nivel de incertidumbre supera un umbral, el sistema busca fotografías adicionales que permitan precisar la identificación.

En el caso de una chimenea, por ejemplo, puede seleccionar una toma posterior en la que aparezca humo, un detalle que ayuda a descartar otras interpretaciones.

“Combinamos ambas fuentes de incertidumbre en un único número que refleja el grado de certeza del VLM en su comprensión general del objeto”, explicó Luca Carlone, profesor asociado del Departamento de Aeronáutica y Astronáutica del MIT, y director del Laboratorio SPARK.

La selección de nuevas vistas se apoya en una regla que permite identificar cuáles imágenes pueden reducir mejor la duda sin volver a ejecutar el modelo de lenguaje visual.

Según el equipo, esa optimización disminuye la carga de cálculo y permite que el proceso funcione en tiempo real mientras el dispositivo se desplaza.

“El principal reto que Nico y Harry tuvieron que superar fue cómo combinar los VLM con la cuantificación de la incertidumbre en algo que se ejecutara en una fracción de segundo en un robot en movimiento”, señaló Carlone en declaraciones recogidas por MIT News.

Dos descripciones adicionales resolvieron la mayoría de las ambigüedades

Una vez elegidas las imágenes más útiles, el sistema recurre a un modelo de lenguaje natural para integrar los distintos textos en una sola descripción. El método concede más peso a las observaciones recientes y a aquellas con menor nivel de ambigüedad.

Las pruebas mostraron que UQ-DAAAM resolvió ambigüedades en cerca del 92% de los objetos presentes en el entorno del robot. El resultado requirió, en promedio, dos descripciones adicionales por cada elemento. La precisión de las descripciones aumentó un 5% frente a los métodos de referencia, de acuerdo con los datos del MIT.

La herramienta también mejoró las respuestas a preguntas vinculadas con qué objeto había detectado el robot, dónde lo había visto y cuándo lo encontró por última vez.

Para los autores, esa capacidad resulta necesaria en tareas que exigen varios pasos, como retirar objetos de una mesa o colaborar con personas durante el ensamblaje de maquinaria.

“A diferencia de ChatGPT, cuando pensamos en la IA física, no basta con simplemente incluir una advertencia de que a veces el robot podría equivocarse”, sostuvo Carlone.

También destacó que “permitir que un robot sepa lo que desconoce será fundamental para que esta tecnología se implemente de forma segura y tenga un impacto positivo en la sociedad”.