Системы отслеживания состояния водителей

Автомобильные и технологические компании лихорадочно занимаются системами безопасности, которые могут обнаруживать различные объекты и избегать столкновения с ними. Но занимается ли кто-нибудь разработкой систем, которые могли бы наблюдать за водителями и отслеживать опасное рассеивание их внимания?

Да, но об этом почти никто не говорит.

Многие компании считают, что системы мониторинга водителей (DMS, Driver Monitoring Systems) устарели или неэффективны, а потому пытаются внедрять в автомобили различные функции автоматизации. Для того, чтобы решать проблему отвлечения водителей и спасать жизни, они внедряют автоматические системы безопасности и «выводят человека из игры» – что-то подобное мы видели в фильме «Военные игры».

Впрочем, люди будут оставаться в игре еще много лет, а частичная автоматизация создает ложное чувство безопасности – из-за него люди слишком сильно отвлекаются от управления автомобилем.

Многие исследования и испытания подтверждают тот вывод, который можно сделать после просмотра фильма. В этом тексте мы хотим задать два ключевых вопроса:

• Почему сейчас нужны системы мониторинга водителя?
• Какие компании и какие технологии лидируют на рынке этих систем?

Собираем сведения

На прошлой неделе Страховой институт безопасности дорожного движения (IIHS) опубликовал результаты исследования, по которым видно негативное влияние автоматизации в автомобилях 1 и 2 уровня автономности.

Исследовательская группа (в которую вошли представители IIHS и Массачусетского технологического института) в течение четырех недель изучала поведение 20 добровольцев. Десять человек ездили на Range Rover Evoque c адаптивным круиз-контролем, а другие 10 – на Volvo S90 с адаптивным круиз контролем и системой Pilot Assist. Результаты исследования показали, что «чем дольше водители пользовались системами автоматизации езды, тем чаще они убирали руки с руля, пользуясь телефонами или взаимодействуя с салонной электроникой».

Тревогу в связи с этим бьет не только IIHS.

Британская компания Thatcham Research в прошлом месяце представила методику оценивания «систем помощи водителю» совместно с Euro NCAP. Согласно первым результатам испытаний, можно сделать вывод, что автоматизация езды не является панацеей для дорожной безопасности. В качества примера можно привести Tesla Model 3. Этот автомобиль обошел всех по критериям помощи и резервирования (по ним оценки выше 90), но получил 36 из 100 за вовлеченность водителя. Директор по исследованиям из Thatcham Мэтью Эйвери пояснил, что «Tesla опустилась в нашем рейтинге из-за того, что их система автопилота явно поощряла отвлечение водителей от управления».

Оценки систем помощи при вождении – октябрь 2020

Мисси Каммингс, директор лаборатории по исследованиям взаимодействия людей и систем автоматизации из Университета Дюка в прошлом месяце высказывалась о «загадках частичной автоматизации«. В своем недавнем исследовании «Взаимодействие автопилота и систем мониторинга водителей в Tesla Model 3” Каммингс подчеркнула, что так называемая „совместная ответственность“ компьютеров и людей является реальной проблемой.

Ранее в этом году Национальный совет по транспортной безопасности (NTSB), расследовавший две фатальные аварии с участием автомобилей от Tesla, опубликовал итоговый отчет по этому делу. Председатель NTSB делал весьма едкие замечания о системе автопилота от Tesla: „Чрезмерное доверие водителей к автопилоту от Tesla привело к трагическим последствиям“.

Принимая во внимание все свидетельства об отвлечении водителей из-за систем автоматизации, Колин Барнден, ведущий аналитик из Semicast Research сказал, что он „просто не понимает почему мы так долго не осознавали важность систем мониторинга водителей и потребность в них“.

Барнден, которая зачастую в одиночку защищает системы мониторинга водителей перед СМИ и сообществом аналитиков, имеет свое мнение по этому вопросу. Она сделала следующее заявление:

Все основные СМИ сейчас преимущественно пишут о системах беспилотной езды. Пресса склонна следить за деньгами. Так, например, рыночная капитализация Tesla составляет 460 миллиардов долларов. Mobileye была продана за 15 миллиардов. Seeing Machines (разработчик систем мониторинга водителей) стоит около 275 миллионов долларов.

Несмотря на все деньги, которые крутятся на этом рынке, у NHTSA нет никаких нормативов касательно систем мониторинга водителей. Между тем, в Европе есть две дорожные карты внедрения этих систем (Euro NCAP и общие правила безопасности в ЕС). Даже у Китая есть стратегия развития мониторинга водителей! Кажется, что все сложилось в пользу разработчиков полноценных стеков для беспилотной езды. Так уж сложилось, что все они находятся в США.

Оглядываясь назад, Барнден сказала:

»Думаю, многие считали, что ADAS – это пустая трата времени, системы мониторинга состояния водителей уже устарели, а беспилотная езда не за горами. Резкий разворот стал причиной смерти (вызванной машиной Uber) Элен Херцберг в марте 2018 года».

Скепсис в отношении систем мониторинга водителя

В мае 2018 года Илон маск в своем твиттере прокомментировал решение Tesla об отказе от систем мониторинга водителей на основе компьютерного зрения. В его твите говорилось, что «отслеживание направления взгляды было отброшено, поскольку эта технология неэффективна».

Внесем ясность, автопилот от Tesla оснащен датчиком, который отслеживает небольшие сдвиги положения рулевого колеса – так система контролирует, что водитель не убирает руки с руля. Как известно, эта система не идеальна, она не принимает никаких решений, пока водитель не убирает руки с руля на целых две минуты.

За последние несколько лет на рынке систем мониторинга водителей появилось множество новых компаний. Среди них можно выделить Seeing Machines (Канберра, Австралия), Smart Eye AB (Гётеборг, Швеция), Eyesight Technologies (Герцлия, Израиль), Jungo Connectivity (Нетания, Израиль), Xperi, которая приобрела FotoNation (Сан-Хосе, Калифорния) и Affectiva (Бостон).

Базовые блоки систем мониторинга водителей от Smart Eye.

Если Маск все еще считает, что системы мониторинга водителей ограничиваются отслеживанием направления взгляда, то он немного отстал. Многие системы от ведущих компаний уже не ограничиваются отслеживанием какого-то одного параметра (вроде положения головы, взгляда, лица или положения век). Эти системы отслеживают совокупность параметров для более целостного представления данных и их анализа.

«Некоторые люди думают, что системы мониторинга водителей исключительно отслеживают направление взгляда – это не так». Такой комментарий нам дал Майк Ленне, старший вице-президент по человеческому фактору и рыночной стратегии из компании Seeing Machines.

Он отметил, что «отслеживание взгляда – это минимальное требование, чтобы заниматься отслеживанием состояния водителя, и оно должно работать исключительно хорошо». На вопросы вроде «А можете ли вы распознавать визуальное или когнитивное отвлечение, сонливость, интоксикацию и т.д?» Ленне отвечает, что все сводится к «качеству применения ИИ к необработанным сигналам от систем распознавания взгляда и определению более конкретных состояний водителя на основе этих данных».

Ник ДиФоре, старший вице-президент по автомобильной промышленности из Seeing Machines, согласен с этим утверждением. «Если ваше решение не может качественно отслеживать голову, лицо и глаза, то вам не будет хватать данных». Именно эти данные позволяют распознавать более конкретные состояния водителя, пояснил он.

Также ДиФоре отметил, что раннее лидерство Seeing Machines на рынке беспилотного транспорта обусловлено не только точностью собираемых данных, но и архитектурой их решений, которая облегчила работу с сигналами и доступ к ним.

По словам ДиФоре, «оптические инструменты» (камеры, датчики изображения, линзы и технологии освещения) критически важны. Совместно с ПО и алгоритмами «они определяют надежность всей системы».

ДиФоре рассказывал, что на этапе лабораторных исследований Seeing Machines мало чем отличалась от многочисленных конкурентов. Но как только системы мониторинга водителей стали встраивать в машины, которые ездят и днем, и ночью, автопроизводителями пришлось учитывать тот факт, что люди делают «странные вещи» – надевают очки или контактные линзы. ДиФоре отметил, что это «даже не краевые случаи. Это реальный мир».

Различий между Seeing Machines и ими конкурентов стало больше, когда компании на рынке систем мониторинга водителей стали применять научные сведения о человеческом факторе к собранным данным, чтобы понять что же на самом деле происходит в голове у водителя.

Модели машинного обучения, обученные на неточных и неповторяемых низкоуровневых данных и сигналах не могут быть точными. «Если вы подаете мусор на вход, то и на выходе получите мусор», сказал ДиФоре. По его словам, Seeing Machines была на шаг впереди конкурентов, потому что работала с «стабильными и надежными сигналами».

От распознавания лиц к чтению мыслей

Итак, каково будущее систем мониторинга водителей? Барнден сказала, что «сейчас индустрия стремится к разработке решений, которые будут работать с частотой 60 кадров в секунду». Она также добавила, что «У этих систем огромная пропускная способность, они работают с очень сложными процессами».

Барнден отметила, что то, что она сейчас видит похоже на то, «чего могла бы добиться Mobileye с фронтальной камерой». Она предсказывает, что DMS может помочь в создании решения, в котором будут тесно связаны микросхемы и ПО».

В области оптических технологий тоже появляется множество инноваций. «Переход от ИК-излучения на 850 нм к 940 нм» очень важен, поскольку на 940 нм гораздо меньше помех от прямого солнечного света, отметила Барнден.

Следующий этап – использование стохастических систем ИИ для применения сведений о человеческом факторе и поведении к оценке уровне вовлеченности водителей.

Чипы и программные решения

До недавнего времени многие компании были уверены в том, что в их решениях не нужны системы мониторинга водителей, либо ограничивались обсуждением передачи ответственности между машинами и людьми в автомобилях с 3 уровнем автономности. Многие компании думали, что если они планируют перескочить третий уровень и сразу разрабатывать машины четвертого, то и системами мониторинга можно не заниматься.

Сейчас же приведены доказательства того, что частичная автономия на 1, 2 и более высоких уровнях влияет на отвлечение водителя, а потому обсуждение систем мониторинга снова стало актуальным. Россу Жату, вице-президент и генеральный директор «On Semiconductor» в своем недавнем интервью сказал, что системы мониторинга водителей – это один из пунктов, готовность которого просто нужно отметить.

Отвечая на вопрос о автопроизводителях, которые используют в своих решениях системы мониторинга водителей, Барнден отметила, что GM в начале 2013 года представила систему мониторинга, которая позже стала Super Cruise. За ними вскоре последовали BMW, Subaru и Nissan, затем в 2017 такую систему установили в Mercedes S-Class 2017 года, а в 2018 году систему мониторинга установили в Ford F-150.

Любопытно, что Audi, Porsche и Jaguar Land Rover, похоже, быстро отказались от разработки систем мониторинга после первых попыток. Барнден сказала, что «систему мониторинга водителей невероятно легко сделать плохо»

Барнден делает ставку на Seeing Machines – отчасти ввиду своего опыта и ряда их соглашений на поставку. Компания Seeing Machines гордится большими массивами данных, собранных с более чем 23 000 водителей грузовиков (к ним также нужно прибавить данные с нескольких тысяч автомобилей, собранные в рамках лицензионного соглашения с Caterpillar).

Представитель Seeing Machines отметил, что у компании уже сейчас есть девять партнерских соглашений на использование их систем в продуктах OEM-производителей.

Впрочем, в индустрии будут использовать не только решения от австралийской компании. Ранее в этом году Smart Eye объявила о 24 соглашениях с четырьмя разными OEM-производителями. В заявлении Smart Eye говорилось, «Из четырех наших партнеров двое – новые клиенты. Один – крупный американский автопроизводитель а другой – европейский производитель автомобилей премиум-класса. Двое существующих клиентов – также европейские автопроизводители, работающие в люксовом рыночном сегменте».

DMS в железе и ПО

Как нам объяснил ДиФоре, примерно половина бизнеса Seeing Machines в области систем мониторинга водителей основана на программных решениях, а другая – на микросхемах. В области систем мониторинга давним партнером Seeing Machines является Xilinx. Благодаря своей программируемости, чип Xilinx Fovio получил признание от OEM-производителей.

Seeing Machines также предлагает OEM-производителям исключительно программные системы мониторинга, которые позволяют экономить на специфических чипах.

В качестве хорошего примера можно привести компанию Qualcomm. Она интегрировала информационно-развлекательную систему и ADAS с помощью своей платформы Snapdragon. Seeing Machines вместе с Qualcomm разработали «оптимизированный программный конвейер, который не только использует ядра ARM-процессоров, но и проприетарные ускорители от Qualcomm», пояснил ДиФоре.

Принимая во внимание тот факт, что процессоры для ADAS будут запускать не только системы мониторинга, ДиФоре сказал, что оптимизация «очень важна».

Не называя OEM-производителей, которые будут пользоваться конечными продуктами, ДиФоре отметил, что Seeing Machines уже демонстрировала работу своих систем на платформах от Nvidia, Renesas, Texas Instruments и «ряде других платформ, популярных среди OEM-производителей».

Продолжая выводить свою систему мониторинга на рынок, в сентябре Seeing Machines анонсировала движок ИИ нового поколения под названием Occula. Компания заявляет, что этот движок будет доступен как в виде ПО, так и в виде готового чипа Fovio. Occula будет обеспечивать работу систем мониторинга водителей и пассажиров следующего поколения. Seeing Machines также предоставляет поставщикам микросхем лицензию на использование своего движка в форме ASIC, что позволит «эффективно интегрировать Occula в автомобильные вычислительные платформы компаний, занимающихся полупроводниковыми технологиями».

Согласно заявлениям Seeing Machines, GM – единственный автопроизводитель, использующий систему мониторинга водителей в Cadillac CT6 (в качестве компонента системы Super Cruise). Seeing Machines добавила, что новые модели уже находятся в разработке. Seeing Machines поставляла свое ПО GM по условиям партнерского соглашения.

Seeing Machines также выиграла контракты на поставку систем мониторинга водителей в виде чипов Fovio у двух американских автопроизводителей и одной китайской компании.

• Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
• В современном автомобиле строк кода больше чем…
• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• McKinsey: переосмысляем софт и архитектуру электроники в automotive