Google и Массачусетский институт разрабатывают алгоритмы ретуши фото во время съёмки

Всё сложнее и сложнее выдавать более высокое качество фотографий с помощью новых аппаратных модулей камер для смартфонов. Поэтому компании вроде Google прибегают к вычислительной фотографии: различным алгоритмам и ИИ-технологиям, призванным улучшать снимки (например, HDR+, появившаяся впервые в Nexus 6). Последнее исследование поискового гиганта, проведённое вместе с учёными из Массачусетского технологического института (MIT), переводит эту идею на новый уровень благодаря алгоритмам, ретуширующим фотографии в реальном времени, прямо во время съёмки.

Исследователи использовали машинное обучение для создания своего ПО и обучения нейронных сетей на наборе из 5000 фотографий, созданных в Adobe и MIT. Каждый снимок этого набора был отретуширован пятью различным профессиональными фотографами, а алгоритмы Google и MIT использовали эту информацию для того, чтобы научить ИИ улучшать соответствующим образом фотографии автоматически. Речь идёт об улучшениях вроде усиления яркости в одном месте, снижении насыщенности в другом, изменения баланса белого и так далее.

Машинное обучение для улучшения фотографий использовалось и ранее, но настоящим плюсом нового исследования является создание небольших и эффективных алгоритмов, способных исполняться на потребительских устройствах прямо во время съёмки. Размер всего ПО не превышает размера одной цифровой фотографии и, согласно публикации в блоге MIT, может использоваться для обработки снимков в различных стилях.

Другими словами, нейронная сеть может быть натренирована на новом наборе изображений, чтобы имитировать стиль определённых фотографов. Примерно так работают художественные фильтры в приложениях от компаний Prisma и Facebook, имитирующих стилистику тех или иных живописцев. Конечно, современные смартфоны и камеры уже обрабатывают захваченные данные в реальном времени, но новые методы позволяет дополнительно развить возможности фотографирования на смартфонах.

С целью уменьшения сложности алгоритмов исследователи применяли несколько различных методов. Например, все вносимые в фотографии изменения они представляли в виде формул и использовали сетку с координатами, чтобы сразу отбрасывать незатронутые участки. Google считает, что это исследование позволит существенно улучшать фотографии на смартфонах в реальном времени без особого влияния на заряд батареи и без возникновения заметных задержек при съёмке. Возможно, подобные технологии появятся уже в смартфонах Pixel 2 в этом году?