Google Lens ahora puede responder preguntas sobre vídeos
Google está actualizando su aplicación de búsqueda visual, Lens, con la capacidad de responder preguntas casi en tiempo real sobre su entorno.
Los usuarios de Android e iOS de habla inglesa que tengan instalada la aplicación de Google ahora pueden comenzar a capturar un video a través de Lens y hacer preguntas sobre objetos de interés en el video.
Lou Wang, director de gestión de productos de Lens, dijo que la función utiliza un modelo Gemini “personalizado” para dar sentido al vídeo y a las preguntas pertinentes. Gemini es la familia de modelos de inteligencia artificial de Google e impulsa una serie de productos en toda la cartera de la empresa.
“Digamos que quiere aprender más sobre algún pez interesante”, dijo Wang en una conferencia de prensa. “(Lens) producirá una descripción general que explica por qué están nadando en círculo, junto con más recursos e información útil”.
Para acceder a la nueva función de análisis de video de Lens, debe registrarse en el programa Search Labs de Google, así como suscribirse a las funciones experimentales “Descripciones generales de IA y más” en Labs. En la aplicación de Google, al mantener presionado el botón del obturador de su teléfono inteligente se activa el modo de captura de video de Lens.
Haga una pregunta mientras graba un video y Lens lo vinculará a una respuesta proporcionada por AI Overviews, la función de la Búsqueda de Google que utiliza IA para resumir información de toda la web.
Según Wang, Lens utiliza IA para determinar qué fotogramas de un vídeo son más “interesantes” y destacados (y, sobre todo, relevantes para la pregunta que se formula) y los utiliza para “fundamentar” la respuesta de AI Overviews.
“Todo esto proviene de una observación de cómo la gente está tratando de usar cosas como Lens en este momento”, dijo Wang. “Si bajas la barrera de hacer estas preguntas y ayudas a las personas a satisfacer su curiosidad, las personas captarán esto de forma bastante natural”.
El lanzamiento del vídeo para Lens llega inmediatamente después de una característica similar que Meta presentó el mes pasado para sus gafas AR, Ray-Ban Meta. Meta planea incorporar capacidades de vídeo de IA en tiempo real a las gafas, permitiendo a los usuarios hacer preguntas sobre lo que les rodea (por ejemplo, “¿Qué tipo de flor es esta?”).
OpenAI también ha mostrado una función que permite que su herramienta Modo de voz avanzado comprenda videos. Con el tiempo, el modo de voz avanzado, una función premium de ChatGPT, podrá analizar videos en tiempo real y tener en cuenta el contexto cuando le responda.
Al parecer, Google se ha adelantado a ambas compañías, menos el hecho de que Lens es asincrónico (no se puede chatear con él en tiempo real) y suponiendo que la función de video funcione como se anuncia. No nos mostraron una demostración en vivo durante la conferencia de prensa, y Google tiene un historial de promesas excesivas cuando se trata de las capacidades de su IA.
Además del análisis de vídeo, Lens ahora también puede buscar imágenes y texto de una sola vez. Los usuarios de habla inglesa, incluidos aquellos que no están inscritos en Labs, pueden iniciar la aplicación de Google y mantener presionado el botón del obturador para tomar una foto y luego hacer una pregunta hablando en voz alta.
Finalmente, Lens está obteniendo una nueva funcionalidad específica para el comercio electrónico.
A partir de hoy, cuando Lens en Android o iOS reconozca un producto, mostrará información sobre él, incluido el precio y las ofertas, la marca, las reseñas y el stock. La identificación de producto funciona con fotos cargadas y recién tomadas (pero no con videos) y, por ahora, está limitada a países seleccionados y ciertas categorías de compras, incluidos productos electrónicos, juguetes y belleza.
“Digamos que viste una mochila y te gusta”, dijo Wang. “Puedes usar Lens para identificar ese producto y podrás ver instantáneamente los detalles sobre los que quizás te estés preguntando”.
Esto también tiene un componente publicitario. La página de resultados de los productos identificados por Lens también mostrará anuncios de compras “relevantes” con opciones y precios, dice Google.
¿Por qué pegar anuncios en Lens? Porque aproximadamente 4 mil millones de búsquedas en Lens cada mes están relacionadas con compras, según Google. Para un gigante tecnológico cuyo alma es la publicidad, es simplemente una oportunidad demasiado lucrativa como para dejarla pasar.