Gemini ya puede entender lo que muestra la cámara del celular: así funciona Guided Visión

Google incorporó Guided Vision a Gemini Live, una función que permite utilizar la cámara del celular para que la inteligencia artificial describa lo que está frente al usuario en tiempo real. La herramienta responde mediante voz y permite hacer preguntas sobre objetos, colores, formas y espacios, además de realizar consultas de seguimiento durante la conversación.

La función está especialmente orientada a personas ciegas o con baja visión, aunque también puede resultar útil para cualquier usuario que necesite asistencia visual en determinadas situaciones. Guided Vision forma parte de las herramientas de accesibilidad de Gemini y busca facilitar tareas cotidianas mediante instrucciones de audio.

Gemini puede describir lo que muestra la cámara

Guided Vision funciona mientras el usuario mantiene una conversación con Gemini Live y comparte la cámara del dispositivo. A partir de las imágenes que recibe, el asistente puede describir diferentes elementos del entorno y responder preguntas específicas.

Por ejemplo, una persona puede apuntar el teléfono hacia una mesa y preguntar qué objetos hay sobre ella. También puede consultar el color de una prenda, identificar determinadas formas o pedir información sobre un objeto que aparece frente a la cámara.

Una de sus aplicaciones más prácticas está relacionada con la lectura. La herramienta puede ayudar a interpretar letras pequeñas en envases, etiquetas o información nutricional que puede resultar difícil de distinguir a simple vista.

También puede servir para localizar objetos que se hayan caído al suelo o que no estén a simple vista. En estos casos, el usuario puede realizar varias preguntas de seguimiento para obtener más información sin necesidad de iniciar nuevamente la consulta.

También ayuda a colocar correctamente el celular

Una de las particularidades de Guided Vision es que no solamente analiza aquello que aparece en la imagen. La función también puede orientar al usuario cuando la cámara no está correctamente posicionada.

Si el teléfono apunta demasiado arriba, demasiado cerca o ligeramente hacia un lado, Gemini puede indicar mediante la voz cómo modificar el encuadre para obtener una imagen más útil. Esto puede facilitar la interacción para personas que dependen principalmente de las indicaciones auditivas.

De esta manera, la función combina reconocimiento visual y conversación por voz para ofrecer una experiencia más intuitiva. El usuario no necesita describir manualmente qué está observando: puede apuntar la cámara y formular preguntas directamente al asistente.

Google advierte que no reemplaza las ayudas de movilidad

Aunque Guided Vision puede ser útil para numerosas tareas diarias, Google establece límites importantes sobre su utilización. La compañía advierte que no debe emplearse como herramienta para navegar por espacios, viajar de forma segura o detectar obstáculos.

Por ese motivo, la función no debe sustituir un bastón, un perro guía u otras ayudas destinadas a la movilidad. La inteligencia artificial puede cometer errores al interpretar una imagen y sus respuestas no deben considerarse un sistema de seguridad.

Su principal utilidad está en ofrecer información visual complementaria para actividades concretas, como leer una etiqueta, reconocer un color o saber qué hay en determinado espacio.

Cómo activar Guided Vision en Gemini

Para utilizar la función es necesario abrir la aplicación de Gemini, acceder a la configuración del perfil y activar la opción “Usar visión guiada en directo”. Después, el usuario puede iniciar Gemini Live y compartir la cámara del teléfono.

También existe la posibilidad de configurar un acceso directo desde Ajustes > Accesibilidad > Asistencia visual > Guided Vision.

La función está disponible en dispositivos Android con Android 9 o versiones posteriores, siempre que Gemini Live sea compatible con la región y el idioma utilizado. Además, es necesario mantener actualizadas tanto la aplicación de Gemini como la versión del sistema operativo.

Guided Vision también funciona con Google TalkBack, el lector de pantalla de Android que permite a personas con discapacidad visual interactuar con el teléfono mediante indicaciones habladas. Con esta incorporación, Google amplía el uso de Gemini más allá de las consultas tradicionales y lo convierte en una herramienta capaz de interpretar el entorno mediante la cámara del celular.