El nuevo Pixel 11 de Google cuenta con traducción de lenguaje de señas en tiempo real

Google incorporó por primera vez una tecnología de traducción de lenguaje de señas directamente en un teléfono inteligente. La compañía integró su nuevo modelo de inteligencia artificial SL2T en los Pixel 11, donde permite convertir en tiempo real el lenguaje de señas americano (ASL) en texto en inglés.

La herramienta estará disponible desde el lanzamiento de los Pixel 11 y funcionará principalmente en dos aplicaciones: Gboard, el teclado de Google, y Live Transcribe, diseñada para facilitar las conversaciones mediante transcripciones.

De esta manera, una persona sorda podrá realizar una búsqueda, redactar un mensaje o consultar a Gemini utilizando señas frente a la cámara del teléfono, sin necesidad de escribir.

En Live Transcribe, además, el usuario podrá responder mediante señas durante una conversación. Google sostiene que las pruebas realizadas con usuarios mostraron que comunicarse mediante ASL puede resultar más rápido y natural que escribir en inglés.

Un modelo entrenado con más de 100.000 horas de datos

SL2T representa uno de los principales avances de Google en traducción automática de lenguaje de señas. El modelo fue entrenado con más de 100.000 horas de datos correspondientes a más de 50 lenguajes de señas. Aproximadamente una cuarta parte de estos datos corresponde al lenguaje de señas americano.

Según Google DeepMind, entrenar el modelo con diferentes lenguajes, dialectos y niveles de habilidad permitió mejorar su capacidad de generalización frente a sistemas diseñados para un único lenguaje.

La tecnología tampoco intenta convertir primero cada seña en una etiqueta para después traducirla. SL2T genera directamente el texto en inglés a partir de los movimientos registrados, evitando el sistema de “glosas” utilizado por numerosos modelos anteriores.

Las glosas funcionan como etiquetas que representan determinadas señas. El problema es que este método puede limitar el vocabulario y perder elementos importantes de los lenguajes de señas, como expresiones faciales, movimientos corporales o construcciones espaciales.

El teléfono no envía el video completo

Uno de los aspectos más relevantes del funcionamiento de SL2T está relacionado con la privacidad. El sistema utiliza MediaPipe Holistic, una tecnología capaz de identificar 130 puntos clave de las manos, el cuerpo y el rostro.

En lugar de enviar la grabación completa de la cámara para procesarla, el dispositivo convierte los movimientos en coordenadas geométricas. Estas coordenadas son las que utiliza posteriormente SL2T para realizar la traducción, mientras que el video original se descarta.

Este diseño busca reducir la exposición de información visual sensible y mantener una parte importante del procesamiento cerca del dispositivo.

La tecnología todavía tiene limitaciones

A pesar de los resultados obtenidos por Google, SL2T no puede considerarse un sustituto de un intérprete humano. La propia compañía reconoce que el sistema puede cometer errores, especialmente con señas poco frecuentes, deletreo rápido o determinadas construcciones lingüísticas.

El rendimiento también puede disminuir cuando existen malas condiciones de iluminación, fuertes contrastes en el fondo o poco contraste entre las manos, el rostro y la ropa. Además, el sistema tiene dificultades cuando existen varias personas sordas dentro del encuadre.

Los clips procesados están limitados a 60 segundos y cada fragmento se traduce de manera independiente, sin conservar necesariamente el contexto de conversaciones anteriores.

Por estas razones, Google recomienda utilizar SL2T como una herramienta para generar borradores en situaciones informales y de bajo riesgo, como mensajes, búsquedas, navegación, toma de notas o conversaciones cotidianas.

Google establece límites para su uso

El lanzamiento también está acompañado por recomendaciones elaboradas junto a organizaciones de la comunidad sorda. Google DeepMind trabajó con un comité asesor integrado por entidades como la Asociación Nacional de Sordos, la Federación Mundial de Sordos y otras organizaciones especializadas.

El documento establece que SL2T no debe utilizarse para sustituir a intérpretes humanos certificados en ámbitos como consultas médicas, procedimientos legales, interacciones policiales, entrevistas laborales o trámites relacionados con beneficios gubernamentales.

Además, el usuario mantiene el control sobre el texto generado. Tanto Gboard como Live Transcribe permiten revisar y editar la traducción antes de utilizarla.

Google considera este lanzamiento como el comienzo de una estrategia más amplia. La compañía trabaja en ampliar el soporte a otros lenguajes de señas y mejorar aspectos como los signos de puntuación, comandos de edición, emojis, memoria contextual y reconocimiento de diferentes dialectos.

Con SL2T, los Pixel 11 se convierten así en los primeros teléfonos de Google en incorporar esta tecnología de traducción de lenguaje de señas como una función de consumo, aunque su utilidad actual sigue estando condicionada por las capacidades y limitaciones del modelo.