Распознавание трехмерных объектов в Apple iPad 11 Pro, оснащенном лидаром, стало более глубоким и детализированным. Для этого также используются ToF-камеры с разными технологиями измерения дальности положения точки.
Apple инициировала гонку использования лидаров в различных продуктах. Компания Apple встроила лидар в свой iPad Pro 11, и теперь кажется, что лидарами хотят пользоваться все.
Маневр Apple и реакция на него повлияли на всю электронную промышленность. Поставщики микросхем и датчиков пересматривают свои планы. Некоторые уже изменили свои бизнес-модели.
Но что такое лидар? Компания Apple выбрала этот термин для описания нового датчика, который измеряет глубину — другими словами, это датчик, который распознает объекты в трех измерениях.
Лидар в планшетах и смартфонах – это, по сути, «просто разновидность технологии для распознавания трехмерных объектов», — объяснил Пьер Камбу, главный аналитик отдела фотоники и дисплеев компании в Yole Développement.
Многие инженеры, работающие в различных областях — будь то беспилотные автомобили, смартфоны или планшеты — изучали способы использования информации о «глубине» данных вместе с пикселями и цветами, получаемыми с помощью датчиков, распознающих двумерные объекты. Так, например, лидары используются в автомобильной промышленности для определения расстояний до объектов, расположенных вокруг высокоавтоматизированных транспортных средств.
Недавно представленный Apple iPad 11 Pro использует лидар для улучшения представления дополненной реальности. Данный лидар спроектирован для комплекта разработки ARkit 3.5, созданного компанией Apple.
Особая технология, используемая для определения и измерения глубины делает этот лидар важным. Именно эта технология стала причиной того, что за этим датчиком следят другие производители мобильных устройств, в том числе Huawei и Vivo.
Разные методы распознавания трехмерных объектов
Для распознавания трехмерных объектов инженеры пользуются различными методами. В их число входят стереозрение, структурирование света и замер времени полета (ToF). Еще больше усложняет ситуацию тот факт, что технология ToF теперь представлена в двух вариантах: iToF и dToF. iToF измеряет фазовый сдвиг, а dToF – непосредственное время полета.
Apple iPhone X обладает функцией распознавания лиц с помощью структурированного света. Его оценка глубины работает с помощью ИК-излучателя, посылающего 30,000 точек, расположенных в зафиксированном порядке. Точки невидимы для людей, но не для ИК-камеры, считывающей деформации в шаблоне, отражающиеся от поверхностей на различной глубине.
С выходом iPad 11 Pro, распознавание трехмерных объектов стало более глубоким и детализированным благодаря использованию технологии dToF. На сегодняшний день iPad Pro от Apple — единственный потребительский продукт, использующий технологию dToF. Многие производители смартфонов уже используют iToF для получения более качественных фотографий (ToF-камера может размывать фон на фотографиях), но не dToF.
Метод структурирования освещения обеспечивает высокую точность определения глубины, но его недостатком является сложная постобработка, необходимая для расчета глубины при сопоставлении с образцом.
Преимущество метода dToF, напротив, заключается в его способности обеспечить простоту постобработки. Впрочем, считается, что сложность использования этой технологии заключается в том, что для измерения времени полета с небольшим количеством фотонов в одном измерении требуются фотодетекторы с высокой чувствительностью (например, однофотонные лавинные фотодиоды) и большим размером.
В настоящее время iToF является наиболее распространенным методом распознавания трехмерных объектов. Он обеспечивает высокую точность определения глубины, простоту постобработки и высокое пространственное разрешение с использованием малогабаритных фотодетекторов, широко используемых в датчиках двумерного изображения.
Тем не менее, для распознавания трехмерных объектов Apple пошла по менее протоптанной дороге. Компания решила использовать структурированный свет для идентификации лиц. Для дополненной реальности Apple использует dToF.
Итак, вот вопросы, которые задают все в мире распознавания трехмерных объектов: Что такое dToF? Из чего состоит эта технология? И кто разработал ее компоненты?
Разбор от System Plus Consulting, подразделения Yole Développement представил подробности устройства модуля распознавания трехмерных объектов в Apple iPad 11 Pro.
В интервью EE Times Сильвен Халлеро, старший аналитик по технологиям и формированию стоимости в System Plus, объяснил, что лидар в iPad 11 Pro состоит из лазера с вертикальными излучением (VCSEL) от Lumentum и разработанного компанией Sony приемника — CMOS-датчика, работающего в ближнем инфракрасном диапазоне (NIR), измеряющего время полета.
CMOS-датчик, работающий в ближнем ИК-диапазоне на однофотонных лавинных фотодиодах от Sony
Разрез CMOS-датчика от Sony, проведенный в рамках исследования его устройства, стал откровением для экспертов, следящих за развитием фотоники. В том числе и для Cambou, подразделения Yole.
Разрез CMOS-датчика от Sony, проведенный в рамках исследования его устройства, стал откровением для экспертов, следящих за развитием фотоники. В том числе и для Камбу, работающего в Yole. В своем недавнем блоге, он писал, что нечто, что «выглядело как старое устройство с iToF и 10-микронными пикселями», оказалось первым потребительским CMOS-датчиком с внутрипиксельным соединением — и, да речь о массиве однофотонных лавинных диодов».
«Внутрипиксельное соединение» — важное свойство. Компания Sony впервые интегрировала CMOS-датчик, используя 3D-стекинг для ToF-датчиков. Внутрипиксельное соединение позволило разместить CMOS-датчик изображения вместе с логической подложкой. Благодаря интегрированной логической матрице, датчик может производить простые вычисления расстояния между iPad и объектами, объяснил Халлеро.
Компания Sony проложила себе путь в сегмент dToF, разработав новое поколение CMOS-датчиков с массивами однофотонных лавинных диодов с 10-микронными пикселями и разрешением 30 килопикселей.
Впрочем, это не просто технологический подвиг компании Sony. Речь идет также о том, что Sony изменила концепцию своего бизнеса.
Традиционно, японский гигант больше работал над обработкой изображений. а не над сканированием. Тем не менее, Камбу заявляет, что «год назад компания Sony переименовала свое полупроводниковое подразделение, и теперь оно называется „Обработка изображений и сканирование“». Далее, Sony предприняла два шага. Первым стала поставка iToF-датчиков компаниям Huawei и Samsung в 2019 году, эти сделки принесли Sony порядка 300 миллионов долларов. Второй шаг – выигрыш в конкурсе разработки dToF-сенсоров для Apple iPad».
Камбу подозревает, что dToF-сенсоры в конечном итоге могут попасть и в iPhone. В своем анализе он отмечает, что «доходы Sony от датчиков, вероятно, превысят 1 миллиард долларов в 2020 году на рынке, который только что превысил отметку в 10 миллиардов долларов. Этот успешный переход от обработки изображений к сканированию сыграл важную роль в постоянном укреплении позиций Sony на рынке CMOS-датчиков. Все это станет основой для процветания нового подразделения».
Вертикально-излучающие лазеры от Lumentum
В дополнение к CMOS-датчику от Sony, лидар оснащен лазерами с вертикальным излучением от Lumentum. В конструкции данных лазеров имеются несколько электродов, подключенных к излучателю.
Таха Аяри, аналитик по технологиям и формированию стоимости компании System Plus, сосредоточил свое внимание на новом этапе обработки (названном mesa contact), добавленном компанией Lumentum в свой лазер с вертикальным излучением. Лазер от Lumentum излучает свет с поверхности подложки. Точная настройка излучения требует управления питанием и применения различных элементов управления к излучающим массивам. Аяри считает, что Lumentum добавили эту технологию, чтобы улучшить тестирование компонентов на подложках.
Для генерации импульса и управления мощностью и формой луча в излучателе используется IC-драйвер от Texas Instruments. В схеме используется корпус на базе подложки кристалла (WLCSP), формованный с пяти сторон.
Наконец, как утверждает System Plus, для создания точечной диаграммы в лазере от Lumentum используется новый дифракционный оптический элемент (DOE) от Himax.
На следующих страницах мы делимся несколькими слайдами, созданными System Plus, которые иллюстрируют то, что было обнаружено при разборке, а также мы добавили несколько слайдов, описывающие перспективы рынка лидаров.
Apple iPad Pro features: RGB main camera module, wide camera module and rear LiDAR module
Here’s how the cross section of the LiDAR module looks like.
Image Sensor Overview
What VCSEL Die Looks like
VCSEL Driver IC packaged in fan-in WLCSP 5-Side VCSEL Driver Die
Diffractive Optical Element
Подписывайтесь на каналы:
@TeslaHackers — сообщество российских Tesla-хакеров, прокат и обучение дрифту на Tesla
@AutomotiveRu — новости автоиндустрии, железо и психология вождения
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Читать еще полезные статьи:
- Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
- [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
- Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
- [Прогноз] Motornet — сеть обмена данными для роботизированного транспорта
- Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
- Камеры или лазеры
- Автономные автомобили на open source
- McKinsey: переосмысляем софт и архитектуру электроники в automotive
- Очередная война операционок уже идет под капотом автомобилей
- Программный код в автомобиле
- В современном автомобиле строк кода больше чем…
