Нейронные сети научились окрашивать черно-белые фото

Одним из наиболее интересных направлений для изучения в ИТ-сфере являются нейронные сети. Их возможности поражают. Не так давно корпорация Google демонстрировала психоделические изображения, созданные ИИ DeepDream на основе реальных фотографий. Некоторые из сгенерированных изображений просто пугают.

Одно из таких изображений (попробовать сделать собственное можно здесь)

Но нейронные сети могут работать и в более спокойном режиме. Например, делать цветными черно-белые снимки. Для того, чтобы научить систему это делать, исследователи обучают ее, демонстрируя большое количество различных фотографий. Нейронная сеть выбирает с цветных снимков те объекты, что схожи с объектами на черно-белых снимках, и разукрашивает последние. Сейчас такой проект разрабатывается исследователями из Калифорнийского университета в Беркли.

По результатам работы в рамках проекта опубликована статья Colorful Image Colorization (PDF). Далеко не все «окрашенные» снимки можно назвать удачными, но некоторые — просто идеальны. Алгоритм системы, разработанной исследователями, работает с рядом обычных правил (например, небо — голубое, трава — зеленая и т.п.), плюс эти алгоритмы прорабатывают множество схожих фото, чтобы получить информацию о точном цвете нужных объектов.

Цветные снимки показывались добровольцам, которые пытались угадать, какие снимки были изначально черно-белыми, а затем их сделали цветными, а какие — изначально цветными. Около 20% расцвеченных снимков испытуемые посчитали изначально цветными. Интересно, что сети сложно раскрасить, например, зеленый овощ на белой тарелке, или оставить снежно белой цаплю определенного вида.

Исходники алгоритма, документацию и остальные наработки можно найти на Github.

Сейчас нейронные сети не просто разукрашивают фото, но и генерируют лица людей и интерьеры. Так, команда исследователей из компании Indico и Facebook создала нейронную сеть, способную «придумывать» реалистичные изображения. Кстати, об эволюции нейронных сетей можно почитать здесь.