Нейросеть обучили самостоятельно дополнять изображения

Английский стартап Magic Pony Technology утверждает, что разработал революционную технологию «моделирования» изображений, которая значительно повышает разрешение фотографий и видео в реальном времени.

Обученная нейросеть не просто интерполирует пиксели, а добавляет недостающие детали. Разработчики говорят, что так можно автоматически генерировать элементы для реалистичных виртуальных миров, например.

Один из примеров работы нейросети приведён выше — лицо героя компьютерной игры, изначально сильно пикселизированное.

Другой пример показан в коротком видеоролике. Слева — оригинальный видеопоток игры, справа — улучшенная графика.

Как пишет издание MIT Technology Review, при обучении нейросети исследователи генерировали картинки низкого качества из картинок высокого разрешения — и подавали эти пары изображений на вход нейросети. В итоге, нейросеть постепенно научилась обнаруживать закономерности и проделывать обратную операцию. Системе не требуются размеченные вручную образцы.

Изображение справа сгенерировано на основе образца слева

Сооснователь компании Роб Бишоп говорит, что они сейчас ведут переговоры с несколькими крупными операторами потокового вещания о лицензировании технологии.

В будущем технологию можно интегрировать даже на мобильных телефонах, которые тоже постепенно оснащаются быстрыми GPU. Здесь программа может эффективно повышать качество фотографий, сделанных в плохих условиях освещения или с низким разрешением матрицы.

О приложении генерации ландшафтов в виртуальных мирах уже говорилось выше. Ещё одно потенциальное применение нейросети — в форматах сжатия изображений и видео. Впрочем, для свободных форматов придётся создавать свободный аналог, потому что здесь используется проприетарная технология. Компания Magic Pony Technology подала на оформление более 20 патентов.