Facebook запустила ИИ-платформу Caffe2Go, в реальном времени обрабатывающую в различных стилях видео, используя исключительно мощности смартфона на базе Android или iOS. Эффекты, на ходу превращающие видео в движущиеся картины, впечатляют, однако ещё более интересна сама технология, позволяющая обрабатывать ролики таким образом. Обычно глубокое обучение требует отправки контента в дата-центры для последующей его обработки на серверных компьютерах, однако Caffe2Go позволяет осуществлять такую обработку прямо на мобильном устройстве.
Новая платформа — часть более крупного ИИ-проекта Facebook, включающего в себя также приложение Lumos, которое позволяет идентифицировать картинки, нарушающие общественные стандарты. Стоит отметить, что не только Facebook занимается подобными проектами: например, Google опубликовала исходный код фреймворка Tensorflow, а Microsoft предоставила разработчикам доступ к Cognitive Toolkit 2.0.
Facebook ранее в этом месяце уже хвасталась технологией, отвечающей за работу Caffe2Go. Как и популярное приложение Prisma, новый продукт компании позволяет накладывать фильтры в стиле Ван Гога или Моне на неподвижные или движущиеся изображения. Обработка видео в реальном времени обычно требует наличия как минимум мощного компьютера, однако Facebook «смогла обеспечить ИИ-обработку на некоторых мобильных телефонах менее чем за 1/20 секунды».
Инженерам компании пришлось разработать программное обеспечение, способное работать на смартфоне, имеющем значительные ограничения по памяти и вычислительной мощности. В то же время, они хотели создать приложение, способное взаимодействовать с серверами или рабочими станциями. Для этого разработчики создали легковесную систему на базе UNIX, занимающую в 100 раз меньше места, чем другие аналогичные программы. Позже к программе были добавлены кое-какие модули, включая функцию под названием NEON, увеличивающую вычислительную мощность мобильных процессоров.
Facebook предоставила доступ к Caffe2Go разработчикам, а также в ближайшие месяцы планирует опубликовать исходный код некоторых элементов приложения. Система способна не только на накладывание фильтров на видео, но и на другие вещи, связанные с обработкой изображений, речи и так далее.
Источник:
