Robot programado en Colombia enseñará lenguaje de señas, así funciona

En Colombia, más de 480.000 personas enfrentan algún nivel de discapacidad auditiva, la mayoría de ellas tiene dificultades para acceder a la educación tradicional en su lengua natural, puesto que el Lenguaje de Señas Colombiana (LSC) tiene un intérprete disponible por cada 1.152 personas con alguna falencia auditiva.

Debido a la brecha en acceso y calidad educativa para esta población, que es un desafío estructural a nivel nacional, un grupo de investigadores de la Universidad de La Sabana desarrolló un robot capaz de enseñar vocabulario básico por medio de la interacción directa con el usuario.

Ahora puede seguirnos en Facebook y en nuestro WhatsApp Channel.

Entre los profesionales que trabajan en este proyecto están: Claudia Lorena Garzón Castro, Jorge Alberto Castellanos y Juan Esteban Mora Zárate, que tienen como objetivo transformar el aprendizaje del LSC en el país.

Uno de los puntos principales de los investigadores era desarrollar una herramienta educativa accesible y versátil, por lo que el robot está dotado de capacidades de interacción gestual y visual, que facilita la enseñanza de once colores fundamentales en LSC.

El sistema del robot parte desde la observación y el reconocimiento de las señas realizadas por el usuario, con una precisión técnica que supera el 90%; además de que identifica los gestos y responde con movimientos propios de la comunicación humana y señales visuales a través de los leds instalados en sus ojos para generar una experiencia lúdica e inmersiva.

La interacción con el robot tiene dos modalidades: el usuario puede seleccionar manualmente el color que desea practicar o dejar la elección en manos del sistema de forma aleatoria. Esta doble opción fomenta el aprendizaje autónomo y al mismo tiempo incorpora elementos de juego.

Uno de los elementos centrales del sistema es la red neuronal Lstm (Long Short-Term Memory), que cuenta con información de la herramienta MediaPipe, que cuenta con 54 coordenadas clave de la postura corporal y la mano del usuario.

De acuerdo con Juan Esteban Mora Zárate, el procedimiento consiste en grabar a una persona durante cerca de cuatro segundos mientras realiza la seña, para que el software analice las posiciones articulares y envíe esos datos a la red neuronal.

“Lo que nosotros hicimos fue transformarlo en un video con la proyección de la imagen del individuo como un esqueleto. Ese material permite identificar las coordenadas de cada articulación de la persona mientras hace la seña. Eso es lo que recibe nuestro modelo de inteligencia artificial”, indicó la docente de la Universidad de la Sabana.

Buscan aumentar el vocabulario

Debido a que la robustez del modelo depende de la diversidad de la muestra utilizada durante el entrenamiento, las pruebas realizadas incluyeron dos escenarios: uno con la cámara de una computadora portátil y otro con la cámara integrada del robot NAO. En ambos casos se obtuvieron resultados superiores al 90% de precisión, con un pico del 93,8% en la modalidad robótica y un tiempo de respuesta inferior a los tres segundos.

Actualmente, el sistema enseña las señas asociadas a once colores, pero el equipo de investigación trabaja en la incorporación de vocabulario adicional vinculado a formas de cortesía, números y otras áreas esenciales del LSC. También está prevista la validación en un colegio con estudiantes sordos, con el objetivo de verificar el impacto en contextos reales de aprendizaje.

“Lo que se busca con este tipo de estudios es abordar temáticas que tengan impacto social, por ejemplo, para este caso, en el país no se cuenta con suficiente personal dedicado a la enseñanza del LSC, por ende, este desarrollo ayuda a tener otro medio de aprendizaje que además genere motivación en la población que quiera aprenderlo”, resaltó la investigadora Claudia Lorena Garzón.

Bajo este contexto, los investigadores buscan más apoyo a nivel gubernamental, para que la tecnología pueda ser adaptada a contextos locales para que se puedan analizar necesidades específicas de cada caso y poder cerrar las brechas en el acceso a la educación y luego mejorarla en otros idiomas.