Nuevo avance argentino de la ingeniería para la robótica

Se sabe que los mayores avances en Inteligencia Artificial (IA) suelen darse en videojuegos, en el plano virtual. Allí, los programas demuestran que son inteligentes a medida que logran sortear obstáculos y cumplir objetivos en un entorno simulado, creado especialmente para ellos.

Pero así como eso existe en el mundo virtual, ahora, ingenieros argentinos junto a escoceses lograron desarrollar un algoritmo para que los robots hagan todo eso en el mundo real.

La técnica que utilizan es el Deep Learning que en 2017 deslumbró al mundo de la tecnología cuando Google la utilizó para desarrollar el AlphaGo, un programa que logró ganarle 4 partidas de 5 al mayor campeón mundial de Go, un juego de estrategia milenario de origen chino.

Un hito mayor que el de la derrota del ajedrecista Garry Kasparov contra la 'supercomputadora' de IBM, Deep Blue, en 1997. Tanto, que el Go tiene 200 posibles configuraciones más que el ajedrez.

El reciente y novedoso desarrollo de la ingeniería supera en ese sentido al Deep Blue y al juego chino porque prepara a los robots para resolver infinitas situaciones reales.

"Tomamos los algoritmos de Deep Mind y los usamos para robótica real. Entonces nos enfrentamos a otro tipo de problemas porque ellos tienen un simulador y las recompensas las obtienen directamente del simulador. Son ambientes muy limpios donde no hay ruidos y se puede prever todo lo que ocurre. Es como pasar de un laboratorio a la realidad", compara el ingeniero electromecánico y becario del Consejo Nacional de Investigaciones Científicas y Técnicas (Conicet), Ignacio Carlucho.

En 2017 (el año del furor del Deep Learning), el experto pasó seis meses en el Laboratorio de Ingeniería Oceánica de la Universidad de Heriot-Watt, Escocia, para lograr este avance dentro del grupo de Investigación Tecnológica en Electricidad y Mecatrónica (Intelymec) del Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires (CIFICEN, CONICET-CICPBA-UNCPBA) ubicado en la Facultad de Ingeniería de Olavarría de la Universidad Nacional del Centro de la Provincia de Buenos Aires.

Avances en ingeniería subacuática

El logro se alcanzó en el área de la ingeniería subacuática donde se utilizan vehículos de operación autónoma (AUV por sus siglas en inglés) para todo tipo de exploraciones.

"En Ingeniería hay muy poco sobre esto, sobre todo en el área oceánica. Todo lo que está hecho es en simulación, pero en escenarios reales y en el agua, no había nada así que decidimos llevarlo a la robótica a ver qué podíamos hacer", explica el doctor en Ingeniería Mariano De Paula, investigador asistente del Conicet en el Intelymec.

El control de bajo nivel de vehículos submarinos autónomos se ha venido trabajando hasta ahora mediante técnicas de control clásicas. Sin embargo, las condiciones de funcionamiento variables y los entornos hostiles que enfrentan los AUV han llevado a los investigadores hacia la formulación de enfoques de control adaptativo.

El sistema, real o virtual, aprende del error y los 'premios' son números. Los valores se asignan en función de los comportamientos que se espera que tenga. Si logra alcanzar las velocidades pretendidas, la recompensa es +1, pero si además lo hace optimizando la energía suma +2. Por el contrario, si gasta más energía de la necesaria y no alcanza las velocidades, se lo penaliza con -2. Estos parámetros los define el usuario en función de los objetivos que desea que alcance.

En escenarios simulados, todos los obstáculos y los niveles de recompensa están premeditados por los programadores, pero en la realidad subacuática la incertidumbre lo complica todo. Corrientes, mareas, suelos inestables, salinidad, turbidez. No hay entrenamiento previo que permita prever todo lo que puede ocurrir ese día, en ese minuto, en ese lugar.

"Imaginemos por un momento que tenemos los ojos vendados y tenemos que conducir a una velocidad determinada, 30 kilómetros por ejemplo, pero solo sabemos a qué velocidad vamos y el rumbo que llevamos: 30 kilómetros por hora en línea recta por ejemplo. Nosotros solo podemos acelerar o frenar y mover el volante (suponiendo que estamos en caja automática, para hacerlo más simple). Y como guía, solo puedo decirte 'más a la derecha, más a la izquierda, acelerá, frená' pero en un terreno y un contexto que te va cambiando; las corrientes, las pendientes, subidas, etc. Y todo lo tenés que ir aprendiendo en el momento", compara De Paula.

El robot no sabe nada, pero aprende muy rápido. Cuenta con sensores que captan las variables de comportamiento dinámico en el momento y aprende mientras trabaja, "por eso al principio opera mal, pero a medida que aprende lo hace cada vez mejor", advierte el doctor en Ingeniería quien aclara que el AUV sólo recibe un mínimo entrenamiento previo "para que no se rompa en el primer instante".

La enorme inteligencia está en que aprende muy rápido y con muy poco. Empieza sin saber quién es ni dónde está y termina entrenándose a sí mismo. "Con las técnicas que estamos probando nosotros, lo que buscamos es que ese comportamiento cambie y se pueda adaptar al medio. De manera que si se encuentra con corrientes pueda modificar su comportamiento y alcanzar de todas formas el objetivo", explica Carlucho quien destaca la versatilidad del algoritmo que ayudó a crear.

"Todos los controles se deben adaptar al tipo de AUV que está trabajando porque no es lo mismo que tenga dos motores que seis. Buscamos que ciertos ajustes se hagan solos. Por ejemplo, si hay una variación de peso, largás el vehículo, lo dejás un rato andando y se da cuenta solo de que pesa más entonces se ajusta", detalla.

Este avance es importante no solo para la ingeniería. Puede ofrecer grandes aportes a otros sistemas que trabajan con poca información del entorno o mucha incertidumbre, como el diagnóstico por imágenes y la medicina. El doctor Gerardo Acosta, investigador independiente del Conicet y director del grupo Intelymec quien también trabajó en el desarrollo, celebra el avance.

"Estos resultados experimentales sobre robots en el mundo real son muy importantes para nosotros, ya que los avances que teníamos en estos temas, y que fueron publicados en la conferencia OCEANS del 2015 en Washington, eran también sobre vehículos acuáticos autónomos, pero funcionando en ambientes simulados o virtuales. Es otro pequeño paso para correr la frontera del conocimiento en este campo".

Un trabajo destacado y distinto

El control de bajo nivel de vehículos submarinos autónomos (AUV) se ha abordado ampliamente mediante técnicas de control clásicas. Sin embargo, las condiciones de funcionamiento variables y los entornos hostiles que enfrentan los AUV han llevado a los investigadores hacia la formulación de enfoques de control adaptativo.

El paradigma de aprendizaje de refuerzo (RL) es un poderoso marco que se ha aplicado en diferentes formulaciones de estrategias de control adaptativo para AUV. Sin embargo, las limitaciones de los enfoques de RL han llevado a la emergencia del aprendizaje de refuerzo profundo que se ha convertido en un marco atractivo y prometedor para desarrollar estrategias de control adaptativo real para resolver problemas de control complejos para sistemas autónomos.

La mayoría de las aplicaciones existentes de RL profundo usan imágenes de video para entrenar al agente artificial de toma de decisiones, pero obtener imágenes de cámara solo para un propósito de control AUV podría ser costoso en términos de consumo de energía. Además, las recompensas no se obtienen fácilmente directamente de los marcos de video.

En este trabajo los ingenieros desarrollaron un marco de RL profundo para aplicaciones de control adaptativo de AUV basadas en una arquitectura RL orientada a objetivos crítica de actor, que toma la información sensorial cruda disponible como entrada y como resultado las acciones de control continuo que son de bajo nivel. comandos para los propulsores del AUV.

Los experimentos en un AUV real demuestran la aplicabilidad del enfoque RL profundo indicado para un problema autónomo de control del robot.
El trabajo, en el que intervinieron también los investigadores escoceses Yvan Petillot y Sen Wang, se publicó este mes en la revista científica especializada Robotics and Autonomus Systems de la prestigiosa editorial Elsevier.

SEGUÍ LEYENDO:

Científicos de Puerto Madryn proponen un ingenioso método para censar peces

Cómo funciona el primer contenedor de residuos inteligente

La tecnología como aliada: desarrollaron una app para aprender a combatir a la vinchuca