Por qué los audífonos del futuro podrían sumar la lectura de gestos para detectar cuándo falla la comunicación

Movimientos corporales, dilatación de pupilas y dirección de la mirada: un equipo de investigadores en Australia desarrolló un sistema multisensorial capaz de detectar cuándo una persona tiene dificultades para comunicarse en una conversación real, un avance que podría transformar el funcionamiento de los audífonos y los implantes cocleares en entornos ruidosos.

El proyecto, denominado MOSAIC (Motion Optic and Sound Sensors to Assess Interactive Communication), fue liderado por la Universidad Macquarie con el respaldo del NSW Smart Sensing Network Grand Challenge Fund e incluyó a investigadores de la Universidad de Western Sídney, así como a los socios industriales Cochlear y Google Research Australia, según informó Phys.org.

La investigación auditiva tradicional mide la escucha, no la comunicación

Kelly Miles, investigadora del centro Macquarie University Hearing y becaria de investigación MQ-Sonova, señaló que la mayor parte de los estudios tradicionales sobre audición se han centrado en la escucha pasiva. “Escuchás algo y después medís el rendimiento”, explicó en declaraciones recogidas por Phys.org. “Pero cuando escuchamos en el mundo real, generalmente estamos comunicándonos. Hay dos o más personas involucradas”.

La experiencia personal de Miles le otorgó una dimensión distinta a su trabajo. Hace aproximadamente seis años sufrió un accidente cerebrovascular apenas una semana después de dar a luz, lo que la dejó temporalmente sin capacidad de hablar ni leer. Aunque su lenguaje se recuperó con relativa rapidez, continuó con dificultades para seguir conversaciones en ambientes ruidosos, no por una pérdida auditiva periférica, sino por la forma en que su cerebro procesaba el sonido tras el episodio.

“Antes del accidente cerebrovascular pensaba en esto desde una perspectiva académica, pero después sentí realmente el impacto de luchar por comunicarse con la gente”, dijo Miles.

Un laboratorio multisensorial que registra casi un terabyte de datos

Para el proyecto MOSAIC, el equipo construyó un laboratorio equipado con múltiples sensores que capturaban los movimientos, el comportamiento ocular, la dilatación pupilar y el habla de los participantes mientras conversaban cara a cara. Durante las sesiones, el ruido de fondo se incrementaba de manera gradual para dificultar progresivamente la comunicación.

El resultado fue un conjunto de datos de casi un terabyte que permitió a los investigadores analizar cómo las personas se adaptan cuando la comunicación se vuelve más exigente.

Las pupilas se dilatan y los gestos se amplifican cuando la conversación se complica

Entre los hallazgos, los investigadores confirmaron que las pupilas se dilatan cuando las personas enfrentan una mayor carga cognitiva, lo que convierte la respuesta pupilar en un indicador útil del esfuerzo de escucha. También rastrearon hacia dónde miraban los participantes durante las conversaciones.

Estudios previos sugerían que las personas dirigen la mirada hacia la boca del interlocutor en condiciones ruidosas para obtener pistas visuales del movimiento labial. MOSAIC encontró que esto se cumplía en participantes que hablaban inglés como segunda lengua, pero entre los hablantes nativos de inglés el patrón fue diferente: a medida que la conversación se dificultaba, las personas miraban cada vez más a los ojos de su interlocutor.

“Estás dando una señal social muy fuerte de que podés escucharlos, de que estás comprometido y de que lo que dicen es interesante”, explicó Miles.

Los investigadores también detectaron que las personas modifican la forma en que se mueven. “Solo con observar la magnitud y la velocidad del movimiento de los brazos, podemos saber si alguien está escuchando en un ambiente ruidoso o en uno silencioso”, indicó Miles. “La gente gesticula más y usa más las manos en un entorno ruidoso”. Además, se registraron cambios en el movimiento de la cabeza a medida que aumentaba el ruido de fondo.

Las adaptaciones al ruido son graduales y multimodales

Jeesun Kim, profesora de investigación del Instituto MARCS de la Universidad de Western Sídney, destacó que su equipo aportó experiencia en los mecanismos conductuales que sustentan la comunicación cara a cara, en particular “cómo la mirada, los gestos y el habla se adaptan cuando la conversación se vuelve difícil y, fundamentalmente, cómo esos mecanismos cambian con la edad y el estado auditivo”.

El equipo del MARCS determinó que las personas no solo hablan más fuerte, sino que también modifican su postura, cambian hacia dónde miran y alteran la complejidad de sus gestos. “Lo prometedor es que, si se puede detectar que la mirada de alguien se desplazó o que sus gestos cambiaron, un dispositivo auditivo podría responder en el momento en que la comunicación se está deteriorando y, de esta manera, ayudar a las personas a permanecer en la conversación en lugar de retirarse de ella”, afirmó Kim en declaraciones a Phys.org.

El gran desafío de los audífonos es saber a quién quiere escuchar el usuario

Miles señaló que los audífonos modernos y los implantes cocleares pueden funcionar muy bien en condiciones favorables, pero los entornos ruidosos con varias personas siguen representando una dificultad considerable. En un restaurante ruidoso, por ejemplo, un dispositivo auditivo puede detectar los sonidos circundantes, pero determinar cuál conversación desea seguir su usuario es mucho más complejo.

“Lo sabés porque no miras muy seguido hacia las otras mesas”, explicó la investigadora. “Tus ojos no van en esa dirección, tu cabeza no gira hacia allá. Estás muy enfocado en lo que ocurre en un espacio determinado”.

Combinar señales como la mirada, el movimiento de la cabeza, los gestos y otras mediciones fisiológicas podría ayudar a las tecnologías auditivas del futuro a reconocer tanto a quién desea escuchar una persona como cuándo está teniendo dificultades. Esa información podría utilizarse para activar algoritmos de procesamiento solo cuando sean necesarios, lo que mejoraría la comunicación y, al mismo tiempo, conservaría la limitada autonomía de batería de los pequeños dispositivos auditivos portátiles.

El proyecto sienta las bases para evaluaciones fuera del laboratorio

Uno de los resultados más relevantes de MOSAIC es que proporciona una base para trasladar esta investigación más allá de las pruebas auditivas controladas en laboratorio. El proyecto generó un extenso conjunto de datos y nuevos métodos para analizar el comportamiento comunicativo, con varios artículos científicos publicados o en proceso de revisión por pares.

El trabajo continúa a través de la Australian Future Hearing Initiative, que desarrolla una plataforma que combina sensores portátiles y móviles con evaluaciones de la dificultad comunicativa en contextos reales.

Catherine Oates Smith, responsable del área de salud humana de la NSSN, sostuvo que MOSAIC demuestra cómo la detección inteligente puede abordar uno de los desafíos más importantes en salud auditiva. “Poder detectar cuándo alguien tiene dificultades para comunicarse, en lugar de simplemente medir lo que puede oír, podría transformar la manera en que las tecnologías auditivas apoyan a las personas en su vida cotidiana”, afirmó.

Miles indicó que el objetivo final es personalizar los audífonos para que se adapten al usuario individual. La investigadora también estudia las dificultades de comunicación tras accidentes cerebrovasculares y lesiones cerebrales adquiridas, respaldada por una beca de cinco años que examina la intersección entre el accidente cerebrovascular y la audición.

“La audición es una puerta de entrada a la comunidad y a la participación social”, concluyó Miles. Comprender las señales que las personas emiten cuando tienen dificultades podría ayudar a que las tecnologías auditivas hagan algo más que mejorar el sonido: mantenerlas dentro de la conversación.