Shutterstock тестирует поиск на основе расположения объектов на изображении

Многие компании используют возможности машинного обучения для того, чтобы помечать и искать визуальный контент. Например, Pinterest и Google позволяют находить похожие картинки. Shutterstock использует технологию несколько иначе: сервис фотостоков определяет схемы размещения предметов на изображении.

Новый инструмент доступен на тестовом сайте компании, который называется Shutterstock Labs. Вы можете добавить в строку поиска несколько предметов, а затем перетаскивать соответствующие им иконки, чтобы уточнять расположение объектов. Также можно указать место, где на картинке не должно быть ничего — например, чтобы добавить туда текст.

Судя по бета-версии инструмента, нововведение реализовано просто и работает быстро. Тем не менее, оно не всегда полезно. Вы можете указать расположение вина и сыра на столе, но у вас нет возможности работать с более сложными композициями — в том числе в трёхмерном пространстве. К тому же, иногда еле заметное смещение одной из иконок довольно сильно меняет все результаты.

Shutterstock отметила, что не собиралась тренировать алгоритм таким образом, чтобы он мог определять расположение предметов в пространстве — система должна была уметь только различать объекты. Информация о размещении вещей была получена в ходе анализа и позже идентифицирована как полезная категория.