Google Lens тепер дозволяє шукати за допомогою відео та голосу

Google анонсував можливості голосового та відеопошуку для Google Lens у травні цього року на I/O 2024. Зараз компанія впроваджує ці функції в Google Lens, де ви можете довго натискати й запитувати безпосередньо голосом. Це робить пошук набагато простішим.

Наразі Google розгортає цю функцію в Search Labs на Android та iOS. Однак поки що функція голосового пошуку в Lens доступна лише для англомовних запитів.

Вона показує огляд штучного інтелекту та результати пошуку на основі вмісту відео та вашого запитання. У попередньому відео, опублікованому на заході I/O, Google показав, що людина, якій цікаво побачити риб в акваріумі, може піднести телефон до експоната, відкрити додаток Google Lens, а потім довго натиснути на кнопку спуску затвора.

Коли Lens почне записувати, користувачі можуть ставити запитання на основі того, що вони бачать. На запитання «Чому вони плавають разом?» Lens відповів за допомогою Google Gemini.

Можливість пошуку за допомогою відео дозволяє показувати на телефоні, як рухаються об’єкти, і ставити про це запитання, що робить Google Lens набагато кориснішим для певних сценаріїв. Ви можете скористатися цією функцією, приєднавшись до експерименту «AI Огляди і не тільки» в Search Labs.

Для тих, кому цікаво, як працює ця функція, Раджан Патель, віцепрезидент з інжинірингу Google, розповів, що Google знімає відео «як серію кадрів, а потім застосовує ті ж самі методи комп’ютерного зору», які вже використовує Lens. Однак Google також показав, що відповіді надходять від спеціальної моделі Gemini, яку компанія розробила для розуміння декількох послідовних кадрів. Після обробки кадрів модель використовує інформацію з Інтернету, пов’язану з темою, щоб згенерувати відповідь.

Підсумовуючи, можна сказати, що це гарне використання вже існуючих технологій, яке призводить до цінного доповнення до Google Lens.