Рассказ основателя Indium Lab о существующих технологиях и их развитии.
Основатель Indium Lab Александр Ситников написал для DTF статью о прошлом, настоящем и будущем AR-решений на конкретных примерах.
Активное обсуждение технологии дополненной реальности (AR) перезапустилось в 2016 году с приходом больших игроков и запуском проектов виртуальной реальности (VR). Казалось бы, где связь? Связь в парадигме потребления контента пользователями и осознании того, что наша реальность может быть модифицирована и улучшена, а также в сдвиге мышления — переходе от 2D-картинок в полноценную 3D-визуализацию.
Если задуматься, технологии часто задают паттерны мышления людей, которые с ними связаны. Изобретение печатного станка позволило научить миллионы людей мыслить словами и текстами. Появление изображений сдвинуло мышление в сторону плотной 2D-визуализации блоков информации, появление видео дало нам возможность осознать концепцию динамического 2D-контента.
Сейчас проходит очередной рубеж. Пока только в головах проектировщиков AR/VR-технологий и первой базы пользователей, которые изучают этот контент. Это рубеж перехода из текстового/визуального 2D в 3D-визуальное мышление. И за счёт этого перехода постепенно развиваются ARVR-технологии.
Переход необходим из-за непрерывного увеличения информационного потока. Из-за обилия информации мы уже почти не способны потреблять её на уровне текстового контента. Тренд последних пяти лет — видео. Оно позволяет более сжато получать информацию за тот же промежуток времени. Сейчас для многих уже стало нормой одновременное потребление контента с двух мониторов и экрана телефона.
Человеческий мозг смог адаптироваться к современному потоку. Но и этого уже не хватает. Мы как информационная губка, которая может поглощать и обрабатывать невероятное количество информации. Получая её из более чем трёх источников или визуальных образов, мы без труда можем быть мультизадачными. А что, если нужно 20-30 задач, образов одновременно?
Ограничение не в том, что мозг не сможет обработать данные массивы информации в реальном времени. «Бутылочное горлышко» — системы вывода и визуализации информации и удобство взаимодействия с ней. Можно установить 20 мониторов, но даст ли это результат? Скорее всего нет, слишком сложно будет их использовать. А если эти 20 мониторов, а скорее даже точек вывода/ввода информации, будут расположены вокруг вас? Что, если они будут появляться ровно в тех местах, в которых нужны, и после выполнения своей задачи — исчезать? Если весь наш физический мир станет «монитором»?
В ближайшем будущем мы будем мыслить критериями 3D-пространства и использовать его полностью, а не только через информационные окна (экраны мониторов и мобильных телефонов).
Основа 3D-мышления — восприятие мира как информационного монитора с возможностью взаимодействия с нужной вам информацией в любой точке. Это основной тренд современности, в который вкладываются все IT-гиганты.
И одной из точек генерации информации является технология дополненной реальности.
Прошлое
Расхожее утверждение: «всё уже было придумано до нас». Если вы думаете, что AR появилась с выходом Pokemon Go или Snapchat — это не так.
Первая технология дополненной реальности была разработана в 1968 году в Гарварде, когда ученый Иван Сазерленд (Ivan Sutherland) создал носимую систему отображения информации с возможностью проецирования виртуальной среды на физическую. С тех пор десятки компаний и лабораторий занимались развитием и усовершенствованием технологии. Её начали активно использовать в авиационных, промышленных и военных целях.
1992 год ознаменовал рождение термина «дополненная реальность». Впервые он появился в Boeing, в работе «Augmented reality: an application of heads-up display technology to manual manufacturing processes», которая была призвана помочь сотрудникам завода самолётов, отображая схемы сборки пучков кабелей.
Не отставали и разработчики игр. Ещё в 1998 году была сделана попытка перенести в AR Quake. Проект так и назывался — ARQuake. Он проецировал игровой процесс на стену.
Только в 2008 году появилось первое коммерческие AR-приложение. Его разработали для рекламы автомобиля BMW Mini. Это была одна из первых маркетинговых кампаний, позволивших взаимодействовать с цифровой моделью в режиме реального времени.
Но официальным стартом «бума» дополненной реальности стоит считать 2010 год. Тогда журнал Time первый раз внёс дополненную реальность в список технологических трендов будущего.
Так же в это время большие бренды начали использовать данную технологию в своих маркетинговых целях.
Начиная с этого времени, технология активно развивалась в военных, промышленных и рекламных целях, но всё равно оставалась нишевой. Множество фирм строили стартапы на дополненной реальности для рекламы больших компаний, но рынок вяло реагировал на AR и разработки в этой сфере практически не вызывали резонанса.
Пока не произошло событие, после которого о дополненной реальности заговорили практически все. И что самое интересное, этот продукт не использовал дополненную реальность, а создавал псевдо-ощущение её наличия. Но в массовом сознании AR накрепко связалась именно с ним. В 2016 году вышла игра Pokemon GO.
А буквально недавно Apple объявила о создании инструментов для разработки AR-приложений. Мы вплотную подошли к черте, на которой дополненная реальность перестаёт быть развлечением для техногиков и переходит в разряд мейнстрима.
Чтобы не запутаться в том разнообразии технологий и платформ, что уже используются при разработке дополненной реальности, поговорим о настоящем.
Мобильный AR
Категория, которая использует мобильный телефон как основное устройство — самая распространённая и простая для освоения.
Маркерная технология
Использует статические метки/маркеры для запуска вывода данных. Подразумевает использование определённого маркера в виде ключа для активации 3D-объекта. Программная среда распознаёт через камеру маркер либо объект, который перед ней находится, после чего выводит поверх него 3D-модель или изображение.
У разных программ свои методы распознавания изображений, что накладывает определённые требования к подготовке и использованию. Маркерами могут выступать: QR-коды, сгенерированные точки, сохранённые изображения, логотипы брендов и так далее. В данный момент технологии позволяют распознавать как 2D, так и 3D-маркеры.
Жёлтые крестики — это точки, которые будет искать программа во время сканирования картинки для поиска в своей базе соответствующего узора и затем выводить поверх него изображение. Как видно на втором примере, при создании хороших меток возникают сложности (чем больше жёлтых крестиков — тем быстрее происходит распознавание и качественнее вывод информации).
В данный момент на Kickstarter более 218 проектов, попадающих под эту категорию. Но только 20 из них успешно собрали деньги. В основном их можно разбить на следующие типы:
- Книги. Сказки, фэнтези, обучающая литература по скульптингу, медицине. Суть сводится к тому, что пользователь, держа телефон, направленный на страницы, листает книгу и получает дополнительный интерактивный контент на её страницах.
- Интерактивные поздравительные открытки. Среди интересных функций этого типа — создание живых фотографий. Когда пользователь наводит камеру на фотографию, а на экране поверх неё запускается видеопоток поверх фотографии.
- Коллекционные карточные игры — большая категория, в которой предлагают оживлять карты, что используют игроки во время игр в настолки.
- Тир — игрок может стрелять по противникам с видом сверху, например, расстреливая базу зомби.
- Раскраски — технология, позволяющая через мобильное устройство «оживить» 2D-персонажа c картинки, которого разрисовал ваш ребёнок, ровно в тех цветах и цветовых формах, которые он использовал, создав полноценного 3D-персонажа с анимациями и реакциями на действия пользователя.
B2B-решения
Огромный пласт, использующий мобильную AR-технологию в своих целях. В основном это дополнительная визуализация продуктов компании. Но также и интерактивные каталоги, позволяющие примерить понравившийся стул из каталога прямо у себя в гостиной либо помочь разобрать мотор.
Geo-Based AR
Это комбинация дополненной реальности, системы отслеживания устройств (LBS) и системы глобального позиционирования (GPS).
Она позволяет разместить виртуальный объект в определённой точке, и он будет сохранять свои координаты при последующем взаимодействии с ним любого из пользователей.
Некоторая логика данной технологии была заложена в проектах Ingress и Pokemon GO, но развита не до конца. В данный момент существует множество стартапов (как игровых, так и промышленных), взявших эту технологию за основу.
AR + ibeacon/altbeacon/eddystone
Позволяют генерировать любое изображение или объект в зависимости от датчика и его расположения. Удобно, что «маячок» можно спрятать в любой объект без надобности размещать на нём определённые AR/QR метки. Активнее всего развивается в сфере торговых центров и больших территорий, для которых нужна навигация.
Пример — Разработка системы навигации для аэропорта в Великобритании.
Lens/Masks
Технология, использующая компьютерное зрение и распознавание лиц с последующим наложением на них 2D/3D визуальных изменений.
Самые известные стартапы из этой категории:
- Looksery, купленные Snapchat и послужившие основой для развития технологии генерации масок/линз на лица людей.
- MSQRD, купленные Facebook и интегрированные в их структуру.
- Makeup Genius, рекламное приложение компании L’Oréal, позволяющее накладывать косметику на лицо.
Система масок/линз уже интегрирована практически во все большие социальные проекты (Snapchat, Facebook, «ВКонтакте», Instagram, Musically) и стала обязательным элементом для современных социальных сетей.
Также некоторые платформы открыли возможность всем желающим создавать свои маски:
- AR Studio (Facebook);
- Vkmasks («ВКонтакте»);
- Google Tango + AR. Современный стартап от Google, связанный с работой определённой камеры и алгоритмами, определяющими поверхности и глубину. Позволяет использовать AR без лишних систем маркеров по аналогии с Hololens. Постоянно происходит улучшение технологии и постепенное её внедрение в новые устройства.
На рынке уже есть Lenovo Tango и Asus ZenFone. Вот несколько примеров их использования:
Список победителей Google Awards 2017 AR, использовавших данную технологию для своих проектов:
При положительной динамике установки данной технологии в новые устройства и на рынок (Samsung, HTC, Huawei и так далее) она станет хорошей платформой для разработки. Однако возможно, что из-за анонса и скорого выхода ARKit, Tango и не найдёт массового применения.
Носимый AR
Следующая большая категория AR-устройств. Пользователь надевает их на себя, они не требуют дополнительных меток для генерации контента, используют методы распознавания предметов, основанные на технологии computer vision, а также построение карты пространства для ориентирования в ней.
Microsoft Hololens — главное устройство этого типа. Оно появилось в 2016 году и активно продвигается. В основном используется в b2b-проектах и пока не может завоевать большую пользовательскую базу из-за цены за устройства в 3–5 тысяч долларов. Имеет довольно небольшой угол обзора —30°×17.5°. Но даже этого хватает, чтобы оценить все преимущества «носимой» дополненной реальности.
Демо-продукты для устройства есть практически в каждом сегменте и ежедневно появляются новые. Среди основных сегментов — медицина, промышленность, образование, реклама, развлечения.
Самые известные из них:
Ещё несколько интересных примеров применения технологии.
Игра Portal AR:
Дополнительные экраны для игры в ММО:
たぬ 福 @tanufuku
HoloLens専用ゲームも楽しいけど、既存のゲームをHoloLens対応にしても面白いんじゃないかなーと思ってFF14で雰囲気だけ試してみた。UI系を画面の外に置くことで、よりゲームに没頭しやすくなるんじゃないかな？狭い画面でも… https://t.co/kzJ4Jwfy9w
Обучение игре на пианино:
Два примера из медицины:
Operator System:
При этом среди 90 проектов в Microsoft Store очень мало интересных. Это просто тестовые бета-продукты низкого качества. В основном — один объект, который можно рассмотреть с разных сторон и взаимодействовать с ним.
Стоят внимания:
- симулятор сердца;
- симулятор сердца-2;
- аэропорт;
- самолёт и его устройство;
- игра-платформер;
- HoloStudio.
Meta 2
Разработчики Meta 2 обещают схожий с Hololens опыт за 950 долларов. Есть возможность предзаказа. Основное отличие можно обозначить одной строкой: “HoloLens is self-contained computer while as Meta 2 is just an input/output device for a computer”. Это значит, что Meta 2 может выдавать очень детализированную графику с компьютера, но будет ограничивать пользователя проводом. Hololens же беспроводной, но работает в основном с Low Poly моделями из-за низкой вычислительной мощности. Угол обзора Meta 2 составляет 90°.
Будущие/анонсированные устройства
Сложно сказать, какое из них станет массовым. Большую ставку делают на Magic leap (уже более 1,4 миллиарда долларов инвестиций), но из-за закрытой информационной политики компании невозможно понять, что они реально сделали. Зато можно посмотреть красивый ролик.
Другие устройства — это аналоги Google Glass, а именно: небольшие носимые гаджеты в виде очков с небольшим углом обзора и количеством выводимой информации. Стоимость таких устройств — 2–3 тысячи долларов. Имеют хороший спрос в b2b-сегменте и в качестве устройств для конкретных решений.
Вот их небольшой список:
Cardboard AR
Интересная подкатегория, представленная сейчас двумя–тремя концепциями. Такой cardboard для AR, использующий телефон, систему линз и контроллеры, «распечатанные на принтере».
Это очень большая и не занятая до сих пор ниша: кто сделает первое коммерчески правильное устройство, вполне заслуженно заберёт себе рынок начального AR, как это в свое время сделал cardboard. Пример — ZapBox.
Сейчас пользовательская база есть только у Hololens. По информации в сети она не очень большая, продано не больше 10 тысяч устройств. Причина в высокой цене и неудобстве ежедневного использования.
Инструменты AR-разработки
Отдельно стоит остановиться на технологиях для разработки дополненной реальности. Основной средой разработки выступают Unity 3D и Unreal Engine. Уже существуют десятки разнообразных SDK, и каждый может подобрать наиболее подходящее поставленным целям.
В целом всё просто. Планируете использовать размещение объектов в пространстве без маркеров, так называемую SLAM технологию — берёте Wikitude или ARKit или Vuforia. Последняя также лучше всего подходит для маркерной дополненной реальности.
- Wikitude дорог, около 2,5 тысячи долларов за лицензию;
- ARKit ограничен только iOS 11;
- у Vuforia слабый трекинг, иногда дёргается 3D-модель.
Нужен геотаргетинг с сохранением по геотегам — используйте Wikitude и, возможно, Kudan. Планируете работать с Hololens? Понадобится Windows 10 и Hololens SDK. Из интересного ещё стоит обратить внимание на ZapWorks от Zappar. Так называемая «дополненная реальность «для чайников»».
Сложно охватить в рамках одной статьи все кейсы и технологическое разнообразие. Только будущее покажет, какое решение станет массовым.
Будущее
По оценкам аналитиков, AR-рынок превзойдёт VR и станет одной из основных технологий через три года. Если честно, в это верится пока с большим трудом. Особенно, если учесть, как медленно развивается VR, и какие устройства представлены на рынке и в разработке.
Скорее всего, стабильная AR-платформа появится через пять и более лет (если не случится чуда). Так что если вам нравится данная технология и вы считаете, что за ней будущее — сейчас лучшее время для её активного изучения.
Источник: DTF
