Илон Маск: «Лидар это потеря времени. Все, кто полагаются на лидар, обречены»

Tesla делает ставку на компьютерное зрение, а не на лидар (презентация Tesla).

В прошлом месяце на Tesla Autonomy Day Илон Маск объявил войну использованию лидаров в беспилотных автомобилях. В последнее время он часто резко высказывался по поводу лидара, но в тот день он заявил:

«Лидар это потеря времени. Все, кто полагаются на лидар, обречены. Дорогие датчики не нужны.»
— Илон Маск

Все крупные компании по разработке беспилотных автомобилей и большинство стартапов используют лидар вместе с камерами и радаром. Tesla остается в стороне и использует только камеры и радар. Выбор Tesla понятен — пока не существует лидара, который можно использовать в производстве беспилотных автомобилей. Tesla не смогла бы поставить на свои машины серьезный лидар, даже если бы захотела. В будущем она все равно не собирается его использовать. Я попытаюсь объяснить точки зрения тех, кто за и против лидара.

Лидар это лазерный радар, который посылает импульсы невидимого света и измеряет время, за которое они вернутся. Он получает черно-красное изображение мира в низком разрешении, с точным расстоянием до каждого пикселя. Некоторые лидары могут сказать как быстро двигалась цель. Если обобщить, то у лидара сверхчеловеческое зрение, но низкое разрешение, высокая цена и ограниченный диапазон. Это значит, что он не является лучшим решением для всех измерений.

У меня есть более подробная статья на тему различий между камерами и лидаром.

Tesla решила проблему всего 8 камерами (3 спереди, по 2 на каждой стороне, 1 сзади), передним радаром и парой ультразвуковых датчиков. Большинство других использует все то же самое, но обычно добавляют больше радаров и один или несколько лидаров. Кто-то добавляет разные лидары и даже камеры ночного видения. Подход Tesla дешевле, хоть и требует много вычислительной мощности.

Илон Маск заявляет, что лидар скучный. Это костыль.

Маск заявил, что лидар это костыль. Почему же так много людей с ним несогласны? Во-первых, большинство команд считают, что еще не пришло время снижать расходы. Сейчас нужно обеспечить максимальную безопасность, сделать это как можно быстрее и первыми выйти на рынок. Если мы выбираем использование лидара и камер вместо одних лишь лидаров, то получаем более быстрый и безопасный путь. Лучший выбор это большее количество надежной информации. Надежность является ключевым фактором. Используя только камеры, нужно воспринимать приближающееся изображение на человеческом уровне. Если у человека нет лидара с невероятной возможностью измерения расстояния, он понимает насколько далеко находится объект, пораскинув мозгами. Мы знаем размеры людей и машин, поэтому понимаем, что чем меньше они выглядят, тем дальше, очевидно, находятся. Мы определяем расстояние, наблюдая за тем как движутся вещи относительно друг друга во время того как перемещаемся в пространстве.

Когда предметы находятся близко, мы также узнаем расстояние с помощью двух «стерео» глаз и фокусировки света. Они полезны, но оказывается, люди могут нормально вести машину даже с одним дальнозорким глазом. Суть в правильном понимании окружающей обстановки.

«Они все перестанут использовать лидар, запомните мои слова»
— Илон Маск

Лидар знает как далеко находится объект без какого-либо понимания касательно того что за объект перед ним. Он определяет расстояние почти идеально. Для многих вещей он надежен на все 100%, именно то, что нам нужно. Люди могут добавить «понимания» мира лидару и уже делают это. Однако это не всегда необходимо, а его ошибки понимания вполне терпимые. Лидар одинаково работает и днем и ночью. Камеры, в свою очередь, должны постоянно работать с вечно меняющимся цветом.

Брэд Темплтон, автор статьи, создатель машины Google первого поколения c огромным лидаром на крыше за 75000$. Сейчас лидары стоят гораздо дешевле, а скоро будут еще дешевле и качественнее.

Компьютерное зрение пока еще отстает. Да, за последние несколько лет были определенные прорывы и все его используют. Но оно еще не на 100% надежно. Остается вопросом будет ли оно настолько надежно и если будет, то когда?

Большинство людей считает, что это лишь вопрос времени. Tesla и остальные говорят, что если люди могут вести машину, используя лишь два глаза, желаемого можно добиться. Но мы путешествуем, используя ноги, это не значит, что у машин должны быть ноги вместо колес. Птицы хлопают крыльями, но это не значит, что то же самое должны делать самолеты. Иногда лучше подходить к технике как к машине. Время покажет.

Ранние лидары стоили очень дорого, но как и вся электронная техника, со временем стали дешеветь. Множество компаний строят новые лидары по ценам, которые не сильно отразятся на цене такси или личной машины. Если вопрос о деньгах не стоит (время сокращать расходы еще не пришло), разработчики сделали очевидно правильный выбор в пользу высокой надежности.

«Как только вопрос с компьютерным зрением будет решен, лидар станет бесполезен.»
— Илон Маск

Маск знает, что решить проблему беспилотных автомобилей сложно, даже несмотря на его вечные заявления о том, что Tesla скоро это сделает. Проблема настолько сложная, что для ее решения нужно действительно хорошее компьютерное зрение. Большинство людей с ним согласятся — они не думают, что лидар справится с этой проблемой в одиночку. Однако машина первого поколения Google отлично себя показала, при том что в ней были установлены только лидар и радар.

Маск утверждает, что компьютерное зрение должно быть настолько хорошим, что сможет выполнять все функции лидара. Оно должно работать в любом освещении, как зрительная кора человека. Оно должно достоверно определять расстояние до объекта. Если компьютерное зрение сможет делать все вышеперечисленное, лидар нам будет не нужен. В таком случае если вы использовали в разработке лидар, то выкинули деньги на ветер и потратили кучу времени на то, что вам не будет нужно. У камер гораздо выше разрешение за счет цвета. Они могут видеть объекты на очень дальнем расстоянии. Ваша камера уже умеет работать настолько хорошо, а может даже лучше.

Возможно Маск прав — однажды. Никто не знает когда. Уверен, это не произойдет сегодня и вероятно не произойдет до 2030. Но нам нужно строить машины сейчас. Мы знаем, что дешевый лидар на подходе.

Tesla делает крупную ставку. Она рассчитывают на скорый прорыв в сфере компьютерного зрения. Она надеется, что именно она совершит этот прорыв, используя специальное оборудование для нейронных сетей и огромное количество данных, которое она сможет собрать с растущего автопарка Tesla. Пока ее машины исследуют дороги, программное обеспечение этих машин находится под ее контролем. Другие делают более безопасную ставку. Они считают, что ожидаемый прорыв случится нескоро, в то время как дешевый лидар более предсказуем и уже на пути к производству.

Даже когда компьютерное зрение будет достойного уровня, многие все равно решат использовать дешевый лидар, который все еще будет на рынке к тому времени. Преимущества лидара никогда не сведутся к нулю, а его 100% надежность практически не требует компромиссов. Да вы можете вести машину, смотря на дорогу лишь одним глазом через монохромный фильтр. Но вы этого не делаете. Может вы и отказались бы от безопасности, чтобы сэкономить кучу денег, но не ради того, чтобы сэкономить лишь небольшую сумму.

Измерение расстояния камерами

Основная ценность лидара — надежное и точное определение расстояния. Системы компьютерного зрения могут подорвать эту ценность. Недавное исследование университета Cornell, которое было опубликовано Tesla’s Autonomy Day, получило особое внимание. Люди ошибочно полагали, что оно анонсирует решение проблемы. На самом деле в документе сообщается о точности в районе 70% при выводе значений глубины примерно до 30 метров. Лидары достигают 100% глубины с диапазоном от 100 до 300м в зависимости от типа лидара. Этот уровень дальности имеет решающее значение для вождения по шоссе. 30 метров далеко не достаточно для вождения по городу. Tesla в своей презентации показала два полезных метода определения расстояния с помощью нейросетей. Она использовала священный Грааль машинного обучения — неконтролируемое обучение. Будет любопытно посмотреть на результаты, которые она опубликует.

Компьютерное зрение «решает»

Компьютерное зрение, которое дает ту же информацию, что и лидар, это очень высокая планка. Не так давно трудно было бы найти человека, считающего это возможным. Сейчас есть такие люди, тот же Маск, но большинство людей все еще верит, что это очень трудно. Tesla надеется, что огромное количество данных, полученных от машин из их автопарка, это секретный ингредиент их будущего успеха. Если это так, то автопилот Tesla доказывает, что им предстоит долгий путь. Автопилот Tesla представляет собой экран, на который выводятся данные системы зрительного восприятия. Любой, кто им пользуется, знает, что он все еще довольно неточный. Вся эта морока с компьютерным зрением не так уж и нужна для получения работающего автопилота. Суть в девятках. Нужно пройти долгий путь от 99% точности (что уже представляет собой приличную систему содействия управления автомобилем) до 99.99999% точности, которой вы доверите свою жизнь.

Системы содействия водителям (ADAS) это костыль?

Если описать суть спора парой слов, Маск считает, что для безопасного вождения нам нужно великолепное, почти идеальное компьютерное зрение, которое сможет выполнять все функции лидара. Другие считают, что водить безопасно можно используя надежность лидара и очень хорошее компьютерное зрение. Маск считает, что все ошибаются и что лидар это костыль, который заставляет людей довольствоваться “очень хорошим” качеством.

Что лучше — почти идеальное компьютерное зрение без лидара или почти идеальный (в своих пределах) лидар с очень хорошим компьютерным зрением? Вот в чем вопрос.

Другие, к слову, считают, что у Tesla есть свой костыль и это система содействия водителям. Tesla возможно лучшая в вопросе системы содействия водителю. Компания собирается улучшать свою систему до тех пор пока она не будет хороша на 100%. Многие считают это ошибкой, по их мнению лучше отказаться от наследия системы содействия водителям и нацелиться на достижение успеха с нуля. Если Tesla выберет улучшение системы содействия водителям, то столкнется со множеством ограничений. Эта идея может не сработать. Именно поэтому многие считают это дурной затеей. Стерлинг Андерсон, бывший руководитель Tesla Autopilot и нынешний директор по продукту в Aurora, любит называть подход своего бывшего работодателя попыткой добраться на Луну, построив лестницу повыше. (Илон Маск кое-что смыслит в способах добраться на Луну.)

Большинство автопроизводителей, сталкивающихся с системой содействия водителю, предпочитают более постепенный подход.

Убийственный пример

На прошлой неделе Tesla засудили за смертельный несчастный случай, который ярко показывает разницу двух подходов. Первый подобный случай произошел во Флориде, что еще раз подтверждает опасность подхода Tesla.

Вид на место аварии автомобиля с автопилотом ночью. Заметьте, что треугольный участок при разветвлении дороги выглядит как тропинка, но тусклые линии справа размыли край. Отбойник, который сейчас восстановлен на фото, очевиден для человеческого глаза, но не для компьютерного зрения.

Вероятно во время несчастного случая алгоритмы Tesla неправильно распознали дорожные метки и выехали на полосу движения, которая находилась между дорогой и съездом. Машина въехала прямо в отбойник, убив водителя. С текущем уровнем технологии Tesla такие ситуации возможны. Авария произошла, потому что ни радар, ни компьютерное зрение не распознали отбойник. Повторюсь, на данный момент такие ситуации возможны. Радар мог бы распознать отбойник только как стационарный объект. Радиолокационные системы не могут точно определить, где находится объект, а вы не можете тормозить каждый раз, когда ваш радар сообщает о стационарном объекте на пути.

Важнее то, что компьютерное зрение не смогло распознать отбойник. Велика вероятность, что оно просто не обучено обнаруживать отбойники, в частности тот, в который врезался пострадавший; за 11 дней до происшествия в этот отбойник врезался водитель обычной машины. Нейросети могут определять только те вещи, которые их обучили определять или что-то похожее на них. Нейросети Tesla хорошо обучены определять заднюю часть любого транспортного средства. Их обучили определять некоторые типы объектов на дороге, но вероятно в 2018 их еще не научили определять отбойники. Поэтому машина продолжила ехать и, что еще хуже, ускорилась, так как решила, что ей открыта новая полоса движения. К сожалению, адаптивный круиз-контроль часто так делает.

Лидар почти наверняка определил бы этот отбойник. Лидар почти наверняка определил бы грузовик, выехавший на дорогу, который убил водителя Tesla Джошуа Брауна во Флориде. Автопилот направил машину прямо в грузовик. Лидару не нужно понимать, что за объект перед ним, чтобы вычислить расстояние до него и его размеры. Хорошие лидары/ПО лучше понимают, что за препятствие перед ними. Их совмещают с компьютерным зрением, чтобы улучшить понимание. Результат совместной работы лидара и компьютерного зрения гораздо лучше, чем работа одного лишь компьютерного зрения.

Я говорю «почти наверняка», потому что программное обеспечение, обрабатывающее изображение лидара, может допускать ошибки. В 2017 году это привело к смертельному исходу Uber. Их лидар увидел жертву, но очевидно система обработки изображений допустила ряд серьезных и неожиданных ошибок, определяя кто она и куда направляется. Как только жертва появилась перед транспортным средством, машина верно отреагировала и решила затормозить; почему в итоге машина продолжила движение уже другая история.

Большинство разработчиков видят, что погибают люди, когда между использованием одного лишь компьютерного зрения и его комбинации с лидаром используют первое. Поэтому они не поддерживают точку зрения Tesla. Может в какой-то день разница между этими решениями перестанет существовать.

Пока Tesla пытается перейти от автомобиля с системой содействия водителю к робокару, а другие пытаются сразу создать робокар, именно Tesla рассчитывает на прорыв в сфере компьютерного зрения. Остальные просто пытаются улучшить то, что уже и так работает.

Карты

Tesla отличилась еще и в вопросе использования детальных карт. Это уже обсуждалось в предыдущих статьях и будет темой моей новой статьи. Следует отметить, что смертельный случай с отбойником, описанный выше, вероятно не произошел бы, если бы более точные карты показали правильную геометрию дороги. Отбойник был бы на карте, а машина с такой картой объехала бы его, вне зависимости от того увидела она его или нет.

Что если Tesla ошибаются?

Ставка Tesla может окупиться. Инвестор, желающий сохранить портфель своих акций, может захотеть владеть и Waymo (если сможет), и Tesla. Диверсификация инвестиций это правильная стратегия любого разумного инвестора.

Tesla поставили себе высокую планку, но есть несколько подстраховок. Даже если Tesla в скором времени не сможет решить проблему полностью самоуправляемых автомобилей, у них по-прежнему есть большой бизнес по производству электромобилей. У них явное лидерство по части электропоездов и высокотехнологичного дизайна автомобилей. Да, их автомобиль с автопилотом не сможет проехать от побережья до побережья, когда в машине никого нет. Да, он не сможет возить вас по городу, пока вы спите. Но в продукты для автопилота от Tesla будут продолжать внедрять новые, замечательные функции. Есть вещи, которые можно решить гораздо проще и использовать лидар для этого необязательно:

• парковка вальтом
• возможность следить за состоянием пробки пока вы набираете имейл
• операции, позволяющие доставить автомобиль на заправку на низкой скорости поздно ночью (в последствии и днем)
• свободное движение по автостраде (сперва безлюдной, затем более оживленной)
• низкоскоростные операции в ограниченных, предварительно утвержденных областях
• улучшение системы содействия водителю, сводящее возможность аварии к нулю

Все это, конечно, не так круто как робокар, но не менее полезно. Tesla может быть первой, кто сделает часть этих фич. (У некоторых автопроизводителей уже есть автоматизированный контроль пробок.)

Если Tesla наступит себе на горло и признает, что ей нужен лидар, ей придется поменять дизайн автомобилей. На нынешних машинах Tesla нет места для лидара с малым лобовым сопротивлением. Возможно передний лидар можно будет с трудом поставить рядом с камерами и зеркалами заднего вида. В таком случае лидар должен быть меньше, чем сейчас. Передний лидар наиболее важный с точки зрения безопасности.

Что, если Tesla права?

Люди, исследующие этот вопрос, допускают общую ошибку — они не учитывают, что другие компании не вкладывают всю свою энергию в лидар. Некоторые компании, как и Tesla, полны энтузиазма касательно компьютерного зрения и нейросетей. Они просто хотят объединить эту технологию с лидаром и у них есть деньги, чтобы работать и над тем, и над другим. Важный конкурент это Waymo, родственник Google через Alphabet. Почти все согласны, что в вопросе нейросетей Google лидирует. Люди, которые показали нам новый способ работы с глубокими нейросетями, такие как Джеффри Хинтон, работают на Google. Нейросети, которые победили чемпиона мира по игре Го, подарил нам Google. У Waimo есть доступ ко всему этому. У них также есть доступ к процессорам нейросети TPU от Google. Хотя Маск заявил, что их чип нейросети лучший в мире, это не так. TPU от Google лучше и ни у кого кроме Waymo нет к нему доступа. Это нормально, множество стартапов кремниевой долины работают сейчас над “лучшим в мире чипом” для нейросети. Многие из них вы увидите в 2019-2020. На данный момент Nvidia’s GPUs превосходит чип Tesla, но потребляет больше электроэнергии.

Если станет ясно, что лидар не нужен, Waymo и несколько других компаний должны будут вступить в игру. У них нет автопарка Tesla, но есть способы получить эти ресурсы, иногда с большими затратами. Tesla умело заставляет клиентов платить за возможность собирать данные и проводить тестирования для них. У Uber и Lyft еще больше водителей, которые могут делать это для Tesla.

Если лидар и впрямь станет не нужен, как предсказывает Маск, у Tesla будет преимущество, но не стопроцентное. Маск также должен убедиться, что другие его ставки оправдают себя. Он продвигает вождение без детальных карт (об этом расскажу позже) и использование машинного обучения для принятия тактических решений, например, когда нужно решить какую полосу движения использовать на перекрестке. Он также не фанат симуляции: Tesla использует ее, но не так активно, как Waymo и другие компании.

По мере развития своего ПО Tesla возможно придется поменять настройки датчиков. Рядом с автомобилем есть места, которые не видят камеры. Также у Tesla нет стеклоочистителей на боковых и задних камерах, которые нужны в случае суровой погоды.

Фанаты лидара не исключают возможность использования нейросетей. Они используют их для понимания данных, полученных от лидара, также как их бы использовали для обработки данных с камеры. (С данными радара они тоже используются.) Из-за низкого разрешения эти нейросети гораздо быстрее и проще.

Пояснение: Автор (Брэд Темплтон) владеет акциями Tesla, Alphabet/Waymo и компании по производству лидара Quanergy. Также он владеет небольшой частью акций других компаний, связанных с лидаром через фонды VC. Диверсификация!

Перевод: Диана Шеремьёва

Читать еще полезные статьи:

• [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
• Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
• [Прогноз] Motornet — сеть обмена данными для роботизированного транспорта
• Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
• Камеры или лазеры
• Автономные автомобили на open source
• McKinsey: переосмысляем софт и архитектуру электроники в automotive
• Очередная война операционок уже идет под капотом автомобилей
• Программный код в автомобиле
• В современном автомобиле строк кода больше чем…