Twitter начала обрезать интересные части фотографий с помощью машинного обучения

Польза машинного обучения не всегда кроется в крупных функциях — зачастую оно помогает привнести некое мелкое нововведение, которое делает продукт гораздо более удобным. Так произошло и в случае с Twitter, которая с помощью нейронных сетей начала обрезать наиболее интересные части фотографий для создания их миниатюр.

Компания начала работать над нововведением уже достаточно давно, но подробно рассказала о нём лишь сейчас. Исследователь в области машинного обучения Лукас Тис (Lucas Theis) и его руководитель Зехан Вонг (Zehan Wang) поведали, что сначала обрезали с помощью новой функции только лица, а вот с пейзажами, предметами и кошками метод не работал.

Решением проблемы стал метод «обрезания с использованием заметной части». Под «заметной частью» в данном случае подразумевается самая интересная часть картинки — неважно, лицо это или нет. Сотрудники Twitter воспользовались данными исследований в области отслеживания глаз для определения зон изображений, на которые люди смотрят в первую очередь. «Эти данные могут использоваться для тренировки нейронных сетей и алгоритмов, прогнозирующих, на что человек хочет бросить взгляд», — написали Тис и Вонг.

Когда исследователи научили нейронную сеть определять такие зоны, им потребовалось оптимизировать технологию, чтобы она работала на сайте в реальном времени. К счастью, обрезание фотографий для создания миниатюр довольно простое — достаточно выделить примерно треть картинки с самым привлекательным содержимым. Это позволило сузить критерии отбора материала.

В результате получилась нейронная сеть в 10 раз более быстрая, чем первоначальный вариант. «Это позволяет нам производить обнаружение заметной части на всех изображениях по мере их загрузки и обрезать их в реальном времени», — добавили Тис и Вонг.

Вскоре нововведение станет доступно всем пользователям Twitter на настольных устройствах, а также в приложениях для iOS и Android.