El MIT creó un sistema para descifrar el razonamiento detrás de las decisiones de los autos autónomos

Un equipo del Instituto Tecnológico de Massachusetts (MIT) y Motional desarrolló CW-Net, un sistema que traduce en tiempo real el razonamiento interno de la inteligencia artificial de los autos autónomos a conceptos comprensibles para que conductores e ingenieros puedan entender y anticipar cada decisión de una tecnología que todavía puede fallar en situaciones imprevistas, informó el MIT News.

El método, presentado en la revista científica Nature, fue entrenado con un conjunto de datos de 130 millones de escenas de conducción autónoma, cada una con múltiples conceptos etiquetados, para identificar con precisión situaciones diversas sin alterar el rendimiento original del modelo que controla el vehículo.

Las pruebas incluyeron ensayos en una pista privada con un robotaxi de Motional y estudios de simulación con usuarios no expertos basados en situaciones reales registradas en calles de Las Vegas. En ambos casos, las explicaciones generadas por CW-Net mejoraron la capacidad de los participantes para anticipar cómo reaccionaría el vehículo.

CW-Net: explicaciones humanas para modelos opacos

Los planificadores basados en aprendizaje automático funcionan como el “cerebro” de un automóvil autónomo. Procesan información proveniente de cámaras y sensores lidar, elaboran una síntesis del entorno, deciden la siguiente maniobra y producen la trayectoria que el vehículo debe seguir.

El problema es que esos planificadores suelen operar como cajas negras. Su lógica interna es tan compleja que a científicos, ingenieros y conductores de seguridad les resulta difícil entender por qué el vehículo tomó una decisión inesperada, como una frenada sin causa aparente.

CW-Net fue diseñado para intervenir en ese punto. El módulo se inserta en la arquitectura del planificador y transforma el razonamiento interno del sistema en conceptos entendibles, como “aproximación a vehículo detenido” o “cerca de ciclista”. A partir de ahí, esos conceptos se vuelven obligatorios para la etapa final del modelo: solo a través de ellos el sistema puede decidir la acción del vehículo. Esa estructura busca garantizar que la explicación no sea decorativa, sino fiel a la causa real de la maniobra.

Eoin Kenny, autor principal del trabajo, exinvestigador posdoctoral del MIT y actualmente investigador sénior de IA en J.P. Morgan Chase, señaló que en entornos de alto riesgo como la conducción autónoma “es importante que las explicaciones no sean potencialmente engañosas”. Añadió que, como CW-Net es “causalmente fiel” a la forma en que el sistema toma decisiones, ofrece ciertas garantías sobre la validez de esas explicaciones.

Al mismo tiempo, el módulo emite esas explicaciones junto con la trayectoria del vehículo y lo hace en tiempo real. Para los investigadores, esa información permite no solo entender por qué el automóvil se detuvo o giró, sino también detectar fallas durante el uso y trasladar ese diagnóstico a los ingenieros.

Pruebas revelaron errores inadvertidos por conductores humanos

En una de las pruebas en pista, el vehículo se detenía de forma sistemática al acercarse a un ciclista. El conductor de seguridad creyó que el automóvil había reconocido correctamente al ciclista y que por eso frenaba. La explicación de CW-Net mostró otra cosa: el modelo no estaba bien configurado para detectar al ciclista y había elegido una trayectoria que habría provocado una colisión. El auto se detenía por la activación del frenado de emergencia cuando ya estaba demasiado cerca.

Ese detalle modificaba por completo la interpretación del comportamiento del vehículo. Con esa información, el conductor podía reducir la velocidad antes o pasar antes al modo de conducción manual en situaciones parecidas.

El mismo tipo de retroalimentación, conforme al portal institucional, también puede servir a los ingenieros para corregir el sistema y evitar que esa falla vuelva a repetirse. La propuesta, por lo tanto, no se limita a explicar lo que hace el vehículo: también apunta a mejorar su desarrollo.

Julie Shah, profesora de aeronáutica y astronáutica del MIT, directora del Interactive Robotics Group en el Computer Science and Artificial Intelligence Laboratory y coautora sénior del estudio, sostuvo que el trabajo muestra cómo las explicaciones fortalecen el modelo mental humano sobre el comportamiento de un sistema y cómo pueden usarse en ingeniería y desarrollo para mejorar la tecnología.

“A menos que estemos construyendo estas tecnologías de una manera en la que podamos confiar y prever su comportamiento, entonces su uso se apoya en una base inestable e insegura”, advirtió la profesora.

Los investigadores plantean como próximos pasos ampliar la cobertura de conceptos del sistema y explorar nuevos métodos de entrenamiento y diseño para elevar su rendimiento y su capacidad de interpretación.

“Nuestro estudio muestra cuán importante puede ser la interpretabilidad en estos entornos de alto riesgo, y que debería estar presente en la mente de quienes desarrollan inteligencia artificial para el futuro, tanto en autos autónomos como en otros entornos críticos para la seguridad”, precisó Kenny.