Камера глубины Clarity может оказать влияние на рынок машинного зрения

Пример карты глубин в сочетании с RGB-изображением с новой камеры Clarity от Light

Компания Light, которая раньше занималась камерами, анонсировала новый датчик глубины, который может перевернуть весь рынок. Clarity может сместить лидары и методы измерения глубины на основе компьютерного зрения за счет того, что этот датчик может строить карты глубин и внедрять в них RGB-изображения, причем радиус работы просто невероятен – 1000 метров. Если предположить, что Clarity работает так, как обещают, и если этот датчик будет производиться в больших масштабах, то это невероятные новости.

Некоторые из вас могли слышать о Light как о компании, которая создала цифровую камеру с 16 объективами, работающую на 3 фокусных расстояниях. Объединение изображений позволило Light создавать изображения высокого разрешения c адаптивной глубиной резкости – маленькая коробочка могла приблизиться к качеству зеркальных фотоаппаратов. Я тестировал их первое устройство – оно было любопытным, но не было готово оказаться в центре внимания. Позже в них инвестировал Softbank. Я думал, что они займутся вычислительной фотографией для оценки расстояния по пикселям, но то, что они сделали, превзошло все мои ожидания – я думал что датчик, работающий на расстоянии в 1000 метров создать невозможно.

Об авторе: Брэд Тэмплтон — инженер-программист, евангелист робоавтомобилей с 2007 года, работал над Гуглокаром в его ранние годы. Основатель ClariNet, почетный председатель Electronic Frontier Foundation и директор Foresight Institute, основатель факультета в Singularity University.

Поначалу я думал, что для создания этого датчика Light будет использовать свои разработки в области мультифокусной фотографии, но вместо этого компания использует 3 камеры с стереобазой 88-мм для использования Multiview при оценке глубины и вычислениях. Также у их датчика достаточно значительная стереобаза.

Пока цены не объявлены, но вряд ли такая система будет стоить дорого. Датчики и линзы должны быть твердотельными и дешевыми. Вычисления дешевеют со временем, а заказной кремний удешевляет их еще сильнее. Все это не работает в случае с лидарами – в них используются более дорогие компоненты и детали, которые нужно калибровать с высочайшей точностью (и в условиях автомобильных вибраций их настройка становится сложной задачей). Несмотря на то, что для решения этих проблем были предприняты серьезные меры, работа над лидарами продолжается. Light утверждает, что Clarity делает все то, что делают лидары (за парой исключений), причем дальность работы их датчика намного больше. Оценки дальности Clarity чуть менее точны, чем у лидаров, но эту проблему можно решить.

«Большое» исключение заключается в том, что лидары используют излучаемый свет, а потому они одинаково хорошо работают и днем, и ночью. Лидары могут обнаруживать объекты в полной темноте. Clarity нужно, чтобы объект был подсвечен фарами или другим источником света (камеры и наши глаза работают так же). Впрочем, эффективность на уровне человеческого зрения – это весьма неплохо.

Еще одно исключение заключается в том, что некоторые лидары могут передавать скорость целевого объекта (как и радары). Это очень ценная функция. С другой стороны, если датчики будут согласованы между собой и будут работать с хорошей частотой кадров, то можно будет вычислять скорость объектов с вполне разумной точностью.

Еще один конкурент датчика от Light — системы, в которых используются методы компьютерного зрения – иногда их называют псевдолидарами. Они работают как человеческий глаз – люди определяют глубину сцены, используя свой мозг и знания о мире. Эти (и другие) методы компьютерного зрения страдают не только от требований к освещенности, им также нужно справляться с переменами освещения и тенями. Эти проблемы не должны влиять на работу Clarity.

Результатом работы Clarity является облако точек – как и у лидаров. В некоторых случаях датчики от Light можно будет использовать как замену направленных лидаров (некоторые лидары могут вращаться на 360 градусов, Clarity так не умеет – нужно устанавливать несколько датчиков). Light утверждает, что их датчики могут работать на 30 кадрах в секунду – лучше большинства лидаров.

Также отметим, что Clarity выдает обычное изображение, идеально наложенное на карту глубин. Это полезная функция – в большинстве систем для работы сочетания датчиков необходимо объединять данные с лидаров и камер, Clarity же решает эту задачу самостоятельно. Теперь нейронные сети смогут классифицировать объекты по их полноценным трехмерным фотографиям, это должно улучшить их производительность.

1000 метров

Дальность работы в тысячу метров поражает. Это больше дальности большинства автомобильных радаров. Большинство лидаров с длиной волны 905 нм четко видят объекты находящиеся не далее 120 метров (некоторые объекты могут быть увидены и на большем расстоянии). Из-за этого многие компании начали работать над лидарами с длиной волны 1550 нм, они могут видеть объекты на расстоянии 250 метров. Чтобы вовремя остановиться при быстрой езде по автостраде автомобилю нужно видеть на расстоянии в 250 метров (особенно во влажных условиях). Впрочем, всегда приятно видеть лучше.

В целом, 1000 метров – это даже больше, чем нужно. Впрочем, на шоссе это может быть полезно для распознавания пробок или аварий, находящихся далеко впереди. Обычно основная задача датчика – оценить тормозной путь (у быстро едущего грузовика он может составлять 300 метров).

Радары видят на достаточно большом расстоянии и, конечно, работают и днем, и ночью. Также они видят сквозь пыль и туман и могут обнаруживать объекты, находящиеся вне поля зрения за счет отскоков от дороги – это позволяет отслеживать скорость транспортных средств, которые не видны из-за грузовика, за которым вы едете. Радары останутся в пуле используемых в наши дни датчиков. Также они работают очень быстро.

Знаменитая цитата Илона Маска: «Лидар – это костыль»

Если датчики Clarity дойдут до широких поставок и станут заменой лидарам, то они убьют почти всю лидарную индустрию. С другой стороны, в таком случае они оправдают все усилия, приложенные к работе над лидарами. Как известно, Илон Маск не использует лидары – он считает, что все задачи нужно решать методами компьютерного зрения, и что с их проблемами можно разобраться. Впрочем, сложно представить, почему вы не захотите воспользоваться всеми средствами и объединить все лучшее из разных миров. К счастью для Tesla, им для этого будет достаточно минимально модифицировать свои автомобили, даже уже выпущенные. Для этого хватит даже простого обновления ПО. Система «сверхчеловеческого» зрения, которая сможет вычислять расстояние до объектов, не будет костылем – она будет улучшением и для лидаров, и для методов компьютерного зрения.

Что можно невзлюбить?

Аспектов, которые можно невзлюбить, у этих датчиков немного, хотя есть ряд моментов, о которых мы ничего не знаем. Я обратился к Light, чтобы получить ответ на вопросы, приведенные ниже.

1. Сколько это решение будет стоить? Сейчас все, что будет стоить меньше 1000 долларов будет покупаться большинством команд без раздумий, но кажется, цена может быть еще ниже. Если мы хотим добиваться обзора на 360 градусов, то она должна быть ниже. Ответ: Будут использоваться стандартные автомобильные камеры, чипы будут стоить разумно.
2. Когда ваше решение будет готово к развертыванию и будет производиться в широких масштабах? Ответ: Вероятно, в 2022-2023
3. Какова точность? В демонстрационном видео можно увидеть как датчики определяют точки с погрешностью 4 сантиметра. Многие лидары могут работать и лучше, но во многих случаях этого не требуется. Один из ключевых сценариев использования (обнаружение выбоин, неровностей и мусора на дороге) требует высокой точности, а обнаружение пешеходов – нет. Ответ: Точность может меняться в различных ситуациях и она важнее абсолютной погрешности. В целом, с ней все в порядке.
4. Насколько хорошо Clarity будет работать ночью при свете фар? Light утверждает, что датчик справляется с такими условиями нормально. Также они работают над новой версией, использующей инфракрасный свет ближнего спектра, и она будет работать еще лучше.
5. Каково разрешение карты глубин? По показанным изображениям можно предположить, что у карты глубин куда более низкое разрешение, чем у RGB-изображения, но оно заметно лучше, чем у лидаров. Ответ: 4 пикселя на точку на ближних дистанциях.
6. Насколько точны результаты? Погрешность приведет к снижению точности, в противном случае можно будет допустить определенную долю ошибки. Ответ: Погрешность составляет около 1% до 100 м, около 2% на 250 м и 10% на 1000 м.
7. Кажется, при движении одних объектов перед другими, датчик начинает ошибаться. Нам нужно узнать насколько значительны эти ошибки и влияют ли они на другие алгоритмы обнаружения объектов.
8. Будет ли датчик настолько надежным, насколько я предполагаю? Он оборудован тремя камерами, если они сдвинутся калибровка останется? Ответ: датчик постоянно перекалибруется, так что он будет работать даже при установке на багажник без амортизаторов.

• Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
• В современном автомобиле строк кода больше чем…
• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• McKinsey: переосмысляем софт и архитектуру электроники в automotive