Un mapa de 20 mil palabras reveló por qué la lectura de labios falla más de lo que se cree

Un estudio de la Universidad de Kansas trazó un mapa visual de 20 mil palabras en inglés y halló por qué la labiolectura falla con términos que se parecen al pronunciarse: el patrón de errores no es aleatorio, sino que depende de cuántos “vecinos” visuales tiene cada palabra y de qué tan cerca quedan entre sí en esa red, un resultado que puede servir para entrenar mejor a las personas y a sistemas de inteligencia artificial, informó el portal científico Phys.org.

La investigación mostró que, al hablarse, cerca de un tercio de las palabras en inglés se parecen visualmente al menos a otra. También determinó que, cuanto más dobles visuales tiene una palabra, más difícil resulta reconocerla solo a partir del movimiento de labios, mandíbula y boca.

El trabajo, publicado en la revista Journal of the Acoustical Society of America, fue encabezado por Michael Vitevitch, profesor de habla, lenguaje y audición en la Universidad de Kansas, junto con sus coautores, con el objetivo de entender por qué algunas palabras son más difíciles de leer en los labios que otras.

Vitevitch explicó que la mayor parte de los trabajos previos se concentró en medir cuán precisas eran las personas al leer labios, pero no tanto en estudiar la naturaleza de los errores. “Hay mucho que aprender de los errores que cometes, y ese fue el enfoque que adoptamos”, dijo.

Dónde y por qué se acumulan los errores

El equipo se apartó del enfoque clásico de los especialistas en lenguaje hablado, que suele analizar fonemas, es decir, los sonidos de una lengua, y evaluar cuán cerca estuvo la respuesta de la palabra correcta en términos sonoros. En su lugar, se centró en las características visuales de la pronunciación.

Para eso utilizó el concepto de “visemas”, definido como el equivalente visual de un fonema. La observación no se apoyó en el sonido, sino en la información que puede extraerse de los labios, la mandíbula y la boca.

Vitevitch resumió: “¿Cómo se ve ese sonido cuando se pronuncia? No nos importa cómo suena; nos importa cómo se ve cuando se pronuncia”. A partir de ese criterio, el equipo observó que algunas palabras pueden sonar parecidas y verse parecidas, como “kit”, “cat” y “cut”, mientras que otras no suenan igual, pero aun así presentan una apariencia visual semejante, como “vet”, “fit” y “fuzz”.

La consecuencia, señaló, es que una persona que solo mira el rostro del hablante puede no distinguir entre unas y otras. El mapa visual permitió ubicar las palabras cerca unas de otras cuando su apariencia al pronunciarse era similar, y más lejos cuando no compartían ese rasgo.

El análisis de esa red llevó a otra conclusión: las personas tienden a confundir una palabra con otra de uso más frecuente. También mostró que los errores son más probables cuando palabras visualmente parecidas ocupan la misma zona del mapa.

Lo que el mapa revela sobre el rendimiento humano

Para Vitevitch, uno de los hallazgos inesperados fue el bajo rendimiento general de las personas en esta tarea. “Una sorpresa fue que la gente no es tan buena en esto. Creemos que lo somos, pero en realidad no”, afirmó.

El investigador añadió que la mayoría de los errores queda a una o dos características visuales de distancia de la palabra correcta. “Estás obteniendo una buena parte de la información, pero quizá no la suficiente como para salir adelante”, dijo.

El mapa también permitió observar que ciertas regiones de esa distribución visual aparecen más comprimidas de lo previsto. Según explicó el profesor, esa compresión y ese estiramiento, es decir, el agrupamiento desigual de palabras dentro del mapa, tienen consecuencias directas sobre la precisión de la lectura labial, porque pueden multiplicar los competidores visuales o, por el contrario, separar mejor unas palabras de otras y volverlas más distinguibles.

Aplicaciones para personas y sistemas de transcripción

El próximo paso del grupo es aplicar estos resultados al entrenamiento. La hipótesis de trabajo es que, si se siguen los errores de una persona a lo largo del tiempo, esos desvíos deberían empezar a acercarse progresivamente a la palabra correcta. “En lugar de estar lejos, las personas comienzan a captar la información que necesitan y a hacer conjeturas más precisas”, sostuvo Vitevitch. Esa misma lógica podría trasladarse a sistemas automáticos de transcripción.

El investigador señaló que plataformas como Zoom ya realizan una tarea al transcribir el habla. La cuestión, agregó, es si podrían mejorar si combinaran el audio con información visual del rostro del hablante.

“Las computadoras son muy buenas para encontrar patrones, y a veces son los mismos patrones que usan los humanos. Podríamos entrenar a las computadoras para que hagan las cosas de una manera más parecida a la humana”, afirmó.

El equipo seguirá explorando esa línea con posibles aplicaciones en aprendizaje automático y con el objetivo de ayudar a personas que necesitan apoyo para comprender el habla.