ADAS: главные тренды в технологиях распознавания

20.07.2020

Статья написана в сентябре 2019.

Тестовый автомобиль от Cruise, сошедший с производственной линии GM, оборудован датчиками (отмечены красным цветом).

Автомобильная промышленность до сих пор ищет надежную технологию распознавания, которая будет работать в любых условиях — ночь, туман, дождь, снег, гололед и т.д.

Выводом выставки AutoSens 2019, проходившей здесь на прошлой неделе, стало то, что недостатка в технологических инновациях нет. Разработчики технологий, Tier-1 и OEM-производители все еще преследуют цель создания «надежной» технологии распознавания, способной работать в любых дорожных условиях – в том числе ночью, в тумане, под дождем, в снегу, на гололеде, на дороге с пролитым маслом и так далее.

Несмотря на то, что на рынке автомобильной промышленности до сих пор нет серебряной пули, способной решить все проблемы разом, ряд компаний представили свои технологии распознавания и концепты новых продуктов.

В этом году на выставке AutoSens в Брюсселе более пристальное внимание было уделено не беспилотным автомобилям, а системам помощи водителю (ADAS).

Инженерное сообщество достигло определенного консенсуса. Многие признают, что существует большой разрыв между тем, что возможно сегодня, и перспективой выпуска коммерческих автономных автомобилей с искусственным интеллектом, не требующих участия человека-водителя.

Проясним: никто не говорит, что беспилотные машины невозможны. Тем не менее, Фил Мэгни, основатель и директор VSI Labs, считает, что «беспилотные автомобили 4-го уровня будут работать в крайне ограниченных областях оперативного проектирования (ODD). Проекты этих машин будут разработаны исходя из исчерпывающих и подробных требований к безопасности»

Мэгни уточнил, что под «ограниченными областями» он понимает ограничения в плане выбора дороги и полосы движения, времени эксплуатации, погодных условий, времени дня, точках выезда и остановки, и так далее.

Барта Селмана, профессора информатики в Корнелльском университете, специализирующегося в области ИИ спросили – сможет ли автомобиль, управляемый ИИ, когда-нибудь рассуждать, пользуясь «здравым смыслом» (осознавая процесс вождения и понимая контекст)? Селман дал ответ на закрытии конференции: «Мы придем к этому как минимум через 10 лет… а может быть и через 20-30 лет».

Тем временем, разработчики систем ADAS и высокоавтоматизированных автомобилей соревнуются в разработке систем зрения для автомобилей.

Фун Купопман, технический директор Edge Case Research и профессор Университета Карнеги-Меллона, считает, что основой любого высокоавтоматизированного автомобиля является система «восприятия», позволяющая определять положение различных объектов, окружающих транспортное средство. Он уточнил, что слабость беспилотного транспорта заключается в неумении предсказывать – понимать контекст и предугадывать куда может сместиться тот или иной захваченный объект.

Продвижение умных систем

Новым трендом, появившимся на конференции, стало появления ряда интеллектуальных систем. Многие производители добавляют в свои продукты системы ИИ, встраивая их в свои сочетания датчиков (RGB камера + NIR; RGB + SWIR; RGB + лидар; RGB + радар).

Тем не менее, среди игроков отрасли нет единого мнения о достижении целей индустрии. Некоторые считают, что путь к успеху лежит через сочетания датчиков, другие (например Waymo) склоняются к обработке данных с датчиков на центральном процессоре.

На AutoSens также появилось множество новых систем мониторинга, которые должны быть разработаны в соответствии с Euro NCAP – набором требований к системам мониторинга водителей и основным стандартом безопасности в 2020 году. В частности, речь идет о системах, которые следят не только за водителем, но и за пассажирами и другими объектами, находящимися внутри автомобиля.

В качестве примера можно привести новый RGB-IR-датчик от On Semiconductor, оснащенный RGB-IR-чипом обработки видео от Ambarella и программным обеспечением для распознавания сцен от Eyeris.

NIR против SWIR

Необходимость видеть в темноте (как внутри, так и снаружи автомобиля) указывает на необходимость использования ИК-диапазона.

В то время как RGB-IR-датчик изображения от компании On Semiconductor работает с ближним спектром ИК-излучения (NIR), компания Trieye, которая также пришла на выставку, пошла еще дальше, представив SWIR-камеру (работающую в коротковолновом диапазоне ИК-спектра).

Среди преимуществ SWIR-камер можно выделить способность видеть объекты при любых погодных/световых условиях. Что еще более важно, SWIR может заранее идентифицировать дорожную опасность (вроде гололеда) благодаря возможности обнаружения уникальной спектральной реакции, определяемой химическими и физическими характеристиками каждого материала.

Впрочем, использование SWIR-камер ограничивается военными, научными и аэрокосмическими областями применения из-за чрезвычайно высокой стоимости арсенида галлия-индия (InGaAs), используемого в этой технологии. Компания Trieye утверждает, что нашла способ создавать SWIR-камеры, используя технологию CMOS. «Мы совершили прорыв. Подобно полупроводникам, мы используем CMOS для крупносерийного производства SWIR-камер с первых дней», — говорит Ави Бакал, генеральный директор и соучредитель компании Trieye. Бакал утверждает, что в отличие от датчика из арсенида галлия-индия, который стоит более 8 000 долларов, камера от Trieye будет предлагаться «за десятки долларов».

Нехватка размеченных данных

Одна из самых больших проблем в области ИИ – нехватка данных для обучающих выборок. Точнее, «размеченных тренировочных данных», сказал Мэгни. «Модель хороша лишь настолько, насколько хороши данные и способ их сбора. Конечно, тренировочные данные должны быть размечены метаданными, и процесс разметки занимает очень много времени».

На AutoSens шла оживленная дискуссия о генеративно-состязательных нейросетях (GAN). По словам Мэгни, в GAN две нейронные сети соревнуются в создании новых данных. Получив на вход обучающую выборку, такие модели обучаются генерировать новые данные, статистические показатели которых будут совпадать с исходными.

Drive.ai, например, используют глубокое обучение для повышения автоматизации разметки данных, что позволяет ускорить утомительный процесс разметки.

В лекции на AutoSens Купман также коснулся проблемы точного аннотирования данных. Он подозревает, что многие данные остаются неразмеченными, потому что только крупные компании могут позволить себе сделать все правильно.

Действительно, присутствовавшие на выставке стартапы в области ИИ-алгоритмов признавали, что платные аннотации данных от третьих лиц приносят им огромную боль.

Один из способов решения этой проблемы – GAN. Компания Edge Case Research предлагает другой способ ускорить разработку безопасного программного обеспечения для распознавания без разметки данных. Недавно компания анонсировала инструмент для стресс-тестов систем восприятия и анализа рисков – Hologram. По словам Купмана, вместо маркировки петабайтов данных, их можно просто прогнать дважды – Hologram предоставит информацию о подозрительных частях датасета и подскажет что лучше сделать – расширить обучающую выборку или дообучить свою модель.

Также на конференции обсуждали проблему, связанную с размеченными наборами данных – что если OEM-производитель автомобиля заменит камеру и датчики, используемые для обучения и работы с данными?

Дэвид Токич, вице-президент по маркетингу и стратегическому партнерству в Algolux, рассказал EE Times, что инженеров, работающих над ADAS и беспилотным транспортом, беспокоят две вещи: 1) надежность работы систем распознавания в различных условиях и 2) разработка точных и масштабируемых решений для задач компьютерного зрения

Камерные системы, используемые в ADAS и беспилотном транспорте могут значительно отличаться друг от друга. Все они имеют различные параметры в зависимости от объективов (разные объективы обеспечивают разные углы обзора), датчиков и технологий обработки сигнала. Технологическая компания выбирает одну из камерных систем, собирает большой набор данных, размечает его и обучает свою модель, которая будет настроена для использования с конкретной системой.

Но что происходит, когда OEM-производитель заменяет камеру, которая использовалась с конкретным набором данных? Это изменение может повлиять на точность восприятия, потому что модель машинного обучения, настроенная на конкретную камеру, теперь должна иметь дело с новым набором сырых данных.

Требуется ли для этого OEM-производителю снова и снова обучать свои модели на новых наборах данных?

Tesla, Waymo, GM/Cruise используют множество камер в своих беспилотных транспортных средствах.

Отвечая на вопрос о возможности замены датчиков изображения, Мэгни из VSI Labs сказал следующее: «Я не думаю, что это сработает – разве что если спецификации останутся прежними». Он также добавил: «в VSI мы обучали нейронную сеть для работы с тепловизионной FLIR-камерой, и характеристики изображений в обучающей выборке соответствовали характеристикам камеры, для которая обучалась нейросеть. Позже мы заменили датчики, но технические характеристики остались прежними».

Algolux, однако, утверждает, что новая технология перевода ранее созданных наборов данных должна появиться «в течение нескольких дней». По словам Токича, пакет Atlas Camera Optimization Suite решает эту задачу, получая «базовые данные» (характеристики камеры и датчика) — и применяя их к слоям распознавания. «Наша задача – демократизировать выбор камер» для OEM-производителей, сказал Токич.

Аппаратное обеспечение ИИ

За последние несколько лет появилось множество стартапов, занимающихся процессорами для ИИ. Это создало импульс, который побудил некоторых объявить о возрождении рынка аппаратного обеспечения. Многие стартапы, разрабатывающие чипы для ИИ, называют рынки беспилотного транспорта и ADAS своими целевыми.

Компания Ceva, в частности, представила на конференции AutoSens новое ядро для ИИ и ‘Invite API’ – продукты, нацеленные на рынок ускорителей для интеллектуальных систем.

Любопытно, что в новом поколении многофункциональных автомобилей еще не внедрены современные чипы для ИИ – за исключением чипов от Nvidia и Intel/Mobileye, а также чипов полного автопилота, разработанных Tesla для внутреннего использования.

С другой стороны, On Semiconductor на конференции AutoSens объявила, что ее команда (и команда Eyeris) будут использовать системы на чипе от Ambarella в качестве процессоров ИИ для мониторинга различных показателей в транспортных средствах.

Модар Алауи, генеральный директор Eyeris, сказал: «Мы не смогли найти ни одного чипа ИИ, который бы мог бы работать с 10 нейронными сетями, потреблять менее 5 Ватт и захватывать видео с частотой 30 кадров в секунду, используя до шести камер, расположенных внутри автомобиля».

Алауи признал, что Ambarella не является известным производителей чипов для ИИ (они больше известны производством чипов для сжатия видео и компьютерного зрения). Тем не менее, система на чипе CV2AQ от Ambarella соответствует всем их требованиям, сказал он, превзойдя все остальные ускорители.

Алауи надеется, что программное обеспечение его компании для ИИ будет портировано на три другие аппаратные платформы к выставке Consumer Electronics Show в Лас-Вегасе в январе 2020 года.

On Semi, Ambarella и Eyeris демонстрируют новую систему внутрикабинного мониторинга с использованием трех RGB-IR камер.

В то же время, On Semi подчеркнули, что системы мониторинга водителя и пассажиров требуют «возможности захвата изображения при в разных условиях освещенности — от прямого солнечного света до темноты». Компания утверждает, что благодаря хорошему времени отклика ближнего ИК-диапазона, «технология RGB-IR в CMOS-датчике изображения обеспечивает вывод изображения в Full HD 1080p с использованием трехэкспозиционного HDR и задней подсветки (BSI) на 3.0 мкм». Датчики, чувствительные к RGB и ИК-подсветке, могут захватывать цветные изображения при дневном свете и монохромные ИК-изображения с подсветкой в ближнем диапазоне ИК-спектра.

Выход за рамки систем мониторинга водителя

Алауи гордится тем, что программное обеспечение для ИИ от Eyeris может выполнять комплексный анализ тела и лица, мониторинг активности пассажиров и обнаруживать различные объекты. Помимо наблюдения за водителем, «мы следим за всем внутри автомобиля, включая поверхности сидений и рулевое колесо», — добавил он, подчеркнув, что стартап уже занимается не только «поиском машин в видеопотоке».

Лоран Эммерих, директор по европейским клиентским решениям компании Seeing Machines, впрочем, умолял не останавливаться на достигнутом. «Выходить за рамки наблюдения за водителем и следить за большим количеством объектов – это естественная эволюция», — сказал он. «Мы тоже стремимся к расширению».

По сравнению со стартапами, преимущество «Seeing Machines» заключается в «прочном фундаменте в области компьютерного зрения и опыте работы с ИИ, накопленном за последние 20 лет», добавил он. В настоящее время система мониторинга водителей компании используется «шестью автопроизводителями и разбита на девять программ».

Кроме того, компания Seeing Machines отметила, что она также разработала собственный чип для мониторинга водителей – Fovio. Отвечая на вопрос, может ли чип также обеспечивать работу будущих систем мониторинга автомобилей, Эммерих пояснил, что их чип будет применяться на конфигурируемой аппаратной платформе.

Резервирование

Сочетание различных датчиков и их установка в автомобиле необходимы не только для улучшения восприятия, но и для добавления столь необходимого резервирования для обеспечения безопасности.

Outsight box, показанная на AutoSens.

Outsight, стартап, соучредителем которого был Седрик Хатчингс, бывший генеральный директор компании Whitings, представлял на выставке AutoSens новую высокоинтегрированную систему, состоящую из нескольких датчиков. Он объяснил, что блок датчиков от Outsight был разработан для того, чтобы » обеспечивать осмысленное распознавание и локализацию объектов с пониманием контекста окружающей среды – включая снег, лед и масло на дороге». Он также добавил: «Мы даже можем классифицировать материалы на дороге, используя активное гиперспектральное зондирование».

Когда его спросили, чьи датчики используются в Outsight Box, он воздержался от комментариев. «На данный момент мы не объявляем наших ключевых партнеров, так как до сих пор работаем над спецификациями и приложениями».

Из разговора EE Times с компанией Trieye стало известно, что Outsight будет использовать SWIR-камеру компании Trieye. Outsight продвигает свой блок сенсоров, который должен быть выпущен для тестирования в первом квартале 2020 года. Outsight Box должна стать дополнительной автономной системой, предоставляющей данные, «не связанные с другими датчиками», для обеспечения безопасности и «настоящего резервирования», — пояснил Хатчингс.

В Outsight Box не используются технологии машинного обучения, а потому результаты ее работы предсказуемы, а сама система может быть «сертифицирована»

Для рынков беспилотного транспорта и ADAS компания Aeye также разработала iDAR — твердотельный MEMS-лидар, совмещенный с камерой высокой четкости. Сочетая два датчика и встроенный ИИ, система, работающая в режиме реального времени, может «решать ряд краевых задач», — говорит Аравинд Ратнам, вице-президент AEye по управлению продуктами.

Система iDAR предназначена для объединения «пикселей» 2D-камеры (RGB) и «вокселей» данных 3D-лидара (XYZ), для формирования нового типа данных в реальном времени. Компания объяснила, что этот новый тип данных должен обеспечить более высокую точность работы, повысить дальность действия, а сами данные должны быть более понятными для систем построения маршрутов, используемым в беспилотном транспорте.

Особенности продукта AEye AE110 по сравнению с отраслевыми тестами и возможностями.

В своей презентации Ратнам сказал, что AEye изучает различные области применения. «Мы рассмотрели 300 сценариев, выбрали 56 подходящих и сузили их количество до 20», в которых слияние камеры, лидара и искусственного интеллекта имеет смысл.

Ратнам показал сцену, в которой маленький ребенок из ниоткуда гонит мяч на улицу – прямо перед автомобилем. Система с камерой с лидаром работает намного быстрее, уменьшая время реакции автомобиля. Ратнам отметил: «Наша платформа iDAR может обеспечить очень высокую скорость вычислений».

Отвечая на вопрос о преимуществе сочетания датчиков, один из инженеров Waymo на конференции сказал EE Times, что он не уверен в том, что это существенно изменит ситуацию. Он спросил: «Разница будет составлять микросекунды? Я не уверен».

AEye уверена в пользе, которую может принести их iDAR. Ратнам из AEye отметил тесное сотрудничество с Hella и LG и подчеркнул: «Нам удалось снизить стоимость iDAR. Теперь мы предлагаем 3D-лидар по цене ADAS».

В ближайшие 3-6 месяцев AEye закончат работу над системой автомобильного уровня, сочетающей RGB, лидар и алгоритмы ИИ. Ратнам утверждает, что цена их решения будет меньше 1000 долларов.

Продажи лидарных систем для автомобильной промышленности (Источник: IHS Markit)

Дексин Чен, старший аналитик отдела автомобильных полупроводников и датчиков компании IHS Markit, рассказал участникам конференции, что поставщики лидаров «опережали рынок и слишком много обещали». Он отметил, что в дальнейшем на рынок могут повлиять физические характеристики лидаров (которые являются их преимуществом), но все решит их коммерциализация. Рынку очень нужны «стандартизация, альянсы и партнерства, а также управление цепочками поставок и партнерство в сфере ИИ».

Подписывайтесь на каналы:
@TeslaHackers — сообщество российских Tesla-хакеров, прокат и обучение дрифту на Tesla
@AutomotiveRu — новости автоиндустрии, железо и психология вождения

О компании ИТЭЛМА

Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Читать еще полезные статьи: