Nvidia presenta Signs, la plataforma interactiva para enseñar lenguaje de signos mediante IA

Nvidia ha presentado Signs, una plataforma interactiva impulsada por Inteligencia Artificial (IA) diseñada para enseñar lenguaje de señas americano (ASL) a los usuarios, así como crear una base de datos pública que permita desarrollar más aplicaciones de IA que frenen las barreras de comunicación con el lenguaje de signos.

La compañía de IA se ha asociado con la Sociedad Estadounidense para Niños Sordos y la agencia creativa Hello Monday para luchar contra la brecha de comunicación entre personas con problemas auditivos o de habla, impulsando el aprendizaje del lenguaje de señas y el desarrollo de aplicaciones de IA accesibles.

En este sentido, Nvidia ha dado a conocer su nueva plataforma interactiva Signs que, impulsada por IA, ayuda a los usuarios a aprender lengua de señas, mediante bibliotecas variadas de signos de ASL y un avatar 3D que muestra cómo se han de ejecutar los signos.

De esta forma, tal y como ha explicado la compañía en un comunicado en su web, el funcionamiento de la plataforma se basa en que los usuarios muestren ante la cámara cómo practican el lenguaje ASL y, por su parte, Signs utiliza una herramienta de IA para analizar las imágenes en tiempo real y ofrecer comentarios con correcciones.

Actualmente, Signs proporciona un conjunto inicial de 100 signos para que los usuarios puedan comunicarse de manera "más efectiva" con amigos o familiares que utilicen ASL. Este conjunto de datos está siendo validado por intérpretes que hablan ASL con fluidez, para garantizar la precisión de cada seña y asegurar ofrecer un diccionario visual y una herramienta de enseñanza "de alta calidad".

Asimismo, Nvidia pretende ampliar a 400.000 videoclips su biblioteca de signos, lo que equivale a la representación de 1.000 palabras con señas. Además, los estudiantes de cualquier nivel pueden contribuir en la plataforma añadiendo palabras específicas para ayudar a crear un conjunto de datos de vídeo de código abierto para ASL y, así, mejorar la enseñanza de este lenguaje.

Siguiendo esta línea, los equipos de Nvidia planean utilizar este conjunto de datos para desarrollar más aplicaciones de IA que "rompan las barreras de comunicación entre las comunidades sordas y oyentes".

Con ello, los datos podrán utilizarse de forma pública como un recurso para crear tecnologías accesibles, incluidos agentes de IA, aplicaciones digitales y herramientas de videoconferencia, según asegura la compañía.

Por otra parte, si bien Signs se centra actualmente en los movimientos de las manos y las posiciones de los dedos para cada signo, el lenguaje ASL también utiliza expresiones faciales y movimientos de la cabeza. Al respecto, el equipo de Signs "está explorando" cómo se pueden rastrear e integrar estas señas no manuales "en futuras versiones de la plataforma".

Igualmente, también se está trabajando en la representación de otros matices, como variaciones regionales del lenguaje y términos de jerga, para enriquecer la base de datos ASL.

Con todo ello, está previsto que el conjunto de datos de Signs se comparta de forma pública a finales de este año 2025. En cuanto a la plataforma, ya está disponible en su versión web.

Tal y como ha manifestado al respecto la directora ejecutiva de la Sociedad Estadounidense para Niños Sordos, Cheri Dowling, "la mayoría de los niños sordos nacen de padres oyentes" y, por tanto, ofrecer a los miembros de la familia "herramientas accesibles como Signs" para comenzar a aprender ASL a una edad temprana "les permite abrir un canal de comunicación eficaz con niños de tan solo seis u ocho meses de edad".