«Как починить эту штуку», «носки с таким же узором»: Google Объектив позволит обрабатывать комбинированные запросы из текста и изображений

Компания Google провела большую работу по улучшению сервиса Google Lens (Google Объектив) с помощью систем искусственного интеллекта. О новшествах было объявлено на конференции Search On. 

Разработчики рассказали о достижениях в области  обработки информации с помощью многозадачной унифицированной модели (MUM). В ближайшие месяцы расширенные возможности визуального поиска будут реализованы в Google Lens. 

Это упрощает поиск, когда сложно описать запрос словами. Google Lens сможет проводить поиск по комбинированному запросу, сочетающему изображение и текст. 

Например, Google Lens сможет отыскивать одинаковые узоры на разных объектах. Если пользователю вдруг захотелось найти интересный узор на футболке на другом предмете одежды —  например, на носках. Теперь это станет возможным, тогда как текстовый запрос «белые носки с цветочным узором в викторианском стиле», ничего бы полезного не выдал. 

Также можно будет навестись камерой на сломавшуюся часть велосипеда, которую пользователь не знает как назвать, и получить инструкции к ней или даже видеоролик с руководством по починке.