Пешеходы vs Система автономного экстренного торможения

AEB — система автономного экстренного торможения автомобиля (Automatic Emergency Braking).
ADAS — система помощи водителю (advanced driver-assistance systems).

В прошлом году AAA (American Automobile Association) провела испытания на автомобилях, оснащенных ADAS, специально ориентированных на обнаружение пешеходов (AEB-P). Ттестирование AEB-P проходило на четырех автомобилях 2019 модельного года: Chevrolet Malibu с Front Pedestrian Braking, Honda Accord с системой торможения Honda Sensing-Collision, Tesla Model 3 с Automatic Emergency Braking и Toyota Camry с Toyota Safety Sense.

Вот основные выводы:

• Если при дневном свете испытуемый автомобиль на скорости 20 миль в час встречал взрослого человека переходившего дорогу, то автомобиль избегал столкновения с пешеходом только в 40 процентах случаев.
• Если испытуемый автомобиль, двигающийся со скоростью 20 миль в час, встречал ребенка, бросающегося в поток движения между двумя автомобилями, ребенок был сбит в 89 процентах случаев.
• На скорости 30 миль в час ни один из испытуемых транспортных средств не избежал столкновения.

Полученные результаты побудили ААА издать рекомендации, которые включают в себя: «никогда не полагайтесь на системы обнаружения пешеходов, чтобы избежать столкновения. Эти системы служат скорее резервным, чем основным средством предотвращения столкновений.»

Предупреждение о столкновении vs предотвращение столкновения

Важно отметить разницу между предупреждением о столкновении и системой предотвращения столкновений. Система предупреждения предупредит водителя о неминуемом столкновении, но не предпримет никаких маневров уклонения (таких как торможение). Система предотвращения предупреждает водителя, и если никаких действий не будет предпринято, система начнет тормозить, чтобы избежать или уменьшить серьезность столкновения.

«Система предотвращения» было тем, что ААА оценивала в своих тестах «обнаружения пешеходов».

Для любого непрофессионала вид автомобиля с ADAS, не останавливающегося перед пешеходом, является шоком. Несмотря на то, что результаты тестов AAA получили широкое освещение в прессе, видео заставляет задуматься о множестве вопросов оставшихся без ответа.

На всех четырех транспортных средствах, протестированных AAA, используется «камера + радар». Учитывая эту комбинацию, какие элементы заставляют функции AEB-P функционировать так неэффективно?

• Возникает ли проблема из-за недостаточного разрешения в датчике изображения и/или радарах?
• Или это связано с алгоритмами слияния данных с различных сенсоров?
• Есть гипотеза, что использование тепловизионных датчиков, помогает транспортным средствам видеть пешеходов в ночное время. В этом у нас нет никаких сомнений. Но, в таком случае, можно ли легко решить эту проблему, просто добавив еще один датчик (другой модальности) поверх датчиков, уже установленных в этих автомобилях ADAS?

Что делает AEB-P таким сложным для реализации?

Фил Магни, основатель и директор VSI Labs, сказал EE Times: «AEB является фундаментальным для ADAS и вы даже не могли бы думать об автоматическом вождении без него. Кроме того, это самое важное из всех функциональных возможностей ADAS и является единственным приложением, которое имеет потенциал для спасения большинства жизней.»

Однако Фил Магни делает решающее различие между AEB и AEB-P. «AEB, адаптированный к пешеходам, — подчеркнул он, — это „на порядок сложнее, чем AEB.“

Итак, в чем сложности?

Эксперты часто ссылаются на ложные срабатывания, к которым склонны радары, и ограниченное поле зрения, обеспечиваемое датчиками изображения. Даже когда радары и камеры объединены, слившиеся данные все равно могут дать лишь ограниченное представление об окружающей среде транспортного средства.

Пожалуй, самым важным является вопрос стоимости. Автопроизводители, как правило, используют менее дорогостоящие датчики для автомобилей ADAS. Учитывая, что функции ADAS ожидаются в автомобилях массового рынка, маловероятно, что производители автомобилей выложат больше денег за специальные датчики — будь то лидар или тепловизор — чтобы снизить вероятность ложного срабатывания AEB-P.

Ложное срабатывание

Фил Магни отметил, что AEB — это трудно, потому что „ложные срабатывания в контексте AEB сами по себе могут привести к смертельным опасностям.“

Фил Магни объяснил, что радар является критическим компонентом в системах AEB, благодаря своей способности измерять время до столкновения. Но радар также подвержен ложным срабатываниям, например, принимая припаркованные автомобили за опасные объекты.

»Итак, в конечном итоге вам придется отфильтровывать много данных в интересах ограничения ложных срабатываний. У вас также есть много шума в радаре, и это тоже может привести к ложным срабатываниям. Вот почему вы время от времени получаете странные предупреждения о столкновении, если ваш автомобиль имеет функцию предупреждения о столкновении.»

На фоне общих данных по AEB эксперт объяснил: «AEB-P значительно повышает требования к производительности, потому что теперь вам нужно идентифицировать и отслеживать людей на вашем пути». Он признал, что радар становится лучше, «но ему все еще не хватает уверенности, когда имеешь дело с людьми, поэтому вы обычно соединяете его с камерой».

Но вот в чем дело. «Хотя соединение камеры с радаром AEB-P имеет хороший результат, он может быть недостаточным».

По мнению эксперта, «существует так много условий окружающей среды, которые ограничивают производительность камеры, и это приводит к низкой производительности современных систем AEB-P».

Узкое поле зрения

Аналитик компании Yole Développement сказал EE Times, что успех системы AEB, основанной на камере, или радаре, или камере+радаре, или камере+лазерном дальнометре, показали хорошие результаты с точки зрения безопасности. Мир видит «более или менее на 50 процентов меньше аварий и смертельных исходов и на 10-15 процентов меньше аварий/смертельных исходов в целом», — отметил он.

В марте 2016 года большинство американских производителей оборудования пообещали установить AEB на всех автомобилях к 2022 году. В апреле 2019 года парламент ЕС также проголосовал за обязательное оснащение к 2022 году. (Источник: Yole Développement)

Но когда та же технология AEB применяется для обнаружения пешеходов, статистика — на 10-15 процентов меньше аварий/смертельных исходов — не так утешительна.

Отвечая на вопрос, почему AEB-P трудно сделать, эксперт сказал, что проблема заключается в «относительно узком поле зрения» перед автомобилем в системах AEB первого поколения.

В этих системах первого поколения используются процессоры Vision, такие как Intel-Mobileye EyQ3 (в GM, Ford, VW) или Toshiba Visconti 2 (в Toyota). Ссылаясь на относительно узкое поле зрения этих транспортных средств, эксперт отметил: «Это основная причина, по которой система AEB не может понять намного больше, чем то, что происходит перед автомобилем».

По оценкам экспертов, система AEB первого поколения уже развернута примерно в 6% автомобилей на дорогах и в 30% новых автомобилей. Эффективность AEB первого поколения составляет от 10 до 15 процентов, поэтому автомобили, оснащенные AEB в Северной Америке и Европе к 2022 году, будут далеки от достижения часто цитируемой цели «Vision Zero».

Но со временем, как ожидается, все станет лучше.

«Новое поколение систем AEB основано на Intel-Mobileye EyeQ4 или Visconti 4, и они улучшат этот параметр FOV, как правило, за счет увеличения числа камер с более широким полем обзора», — отметил эксперт.

«Сегодня мы не знаем о преимуществах тройной камеры по сравнению с монокамерой, но она должна быть лучше».

Далее идут системы AEB третьего поколения. Эксперт отметил, что они будут использовать камеры полного радиуса действия. «Это то, что Тесла будет делать со своим полностью самоуправляемым компьютером (FSD). Zenuity также предоставляет такой подход к OEM-производителям», — добавил он. «Будучи осведомленным о полной окружающей среде, AEB должен со временем улучшаться. Но вопрос в том, как быстро?

Что должно произойти, чтобы AEB защитил пешеходов от столкновения с автомобилем ADAS? эксперты предполагают, что понадобится давление на автопроизводителей со стороны регулирующих органов или протест со стороны широкой общественности.

Что нам нужно для эффективного AEB-P?

Flir предлагает свою тепловизионную технологию для AEB-P. Компания заявляет, что их тепловизор дает „дополнительные данные для RGB-камер и радаров. Поскольку тепловизионные камеры «видят» тепло, Крис Пош, технический директор Flir, отвечающий за автомобильную промышленность, сказал: “Мы можем обнаружить пешеходов в сложных условиях, в том числе ночью, сквозь блики солнца, фар и туман». Flir утверждает, что он может видеть в четыре раза дальше, чем типичные фары в темноте.

Тем временем на выставке CES компания Prophesee из Парижа показала видео, созданное неназванным автопроизводителем в Германии. Они сравнивают систему AEB, использующую обычную камеру, с event-driven камерой. На видео было видно, что камера Prophesee постоянно набирала больше очков при обнаружении пешехода.

Есть три способа, чтобы преодолеть препятствие с улучшением AEB-P.

1. Те же данные (только больше), те же вычисления (только больше)
2. Более качественные данные, при тех же вычислениях
3. Более качественные данные, более качественные вычисления

Третий подход — речь идет о сочетании новых датчиков с новыми способами вычислений. «Я думаю, что это многообещающие нейроморфные вычисления. Некоторые компании уже внедряют инновации как в сенсорах, так и в вычислениях… Я подразумеваю Outsight, которая выводит на рынок гиперспектральный лидар + алгоритм восприятия».

Тепловизоры

Среди доступных сейчас решений, перспективными являются тепловизионные камеры. По сравнению с обычными RGB-камерами, эксперт из VSI Labs сказал: «Тепловая энергия намного лучше обнаруживает и классифицирует пешеходов, потому что классификация основана на тепловой характеристике объекта, а не на видимом свете».

Но самый часто задаваемый вопрос о тепловизионных камерах — это стоимость. Если автопроизводители добавят тепловизионную камеру в автомобиль с ADAS, чтобы обеспечить эффективный AEB-P, сколько это будет стоить? Крис Пош рассказал EE Times, «Они будут стоить сотни долларов, а не тысячи, как в случае с лидарами».

Хотя тепловизионные камеры Flir уже разработаны в некоторых моделях BMW, Audi и других, они не предназначены и не настроены для AEB-P. Вместо этого они могут обнаружить животных на дороге ночью. Для приложений AEB-P Flir разработала новую тепловизионную VGA камеру, разрешение которой в четыре раза выше, чем у современных тепловизионных автомобильных камер.

Прошлой осенью Veoneer (шведский поставщик автомобильных технологий) выбрал для себя Flir для контракта на производство автономных автомобилей четвертого уровня с ведущим мировым автопроизводителем (на 2021 год).

Как это можно проверить

VSI Labs, с которой Flir заключил контракт, работает над проверкой концепции, чтобы продемонстрировать преимущества тепловизоров для автоматического экстренного торможения. Лаборатории VSI провели первоначальные тесты в декабре 2019 года в Американском центре мобильности недалеко от Детройта.

Модель VSI Labs для этого тестирования AEB-P использовала, по словам Магни, один радар Delphi ESR в сочетании с камерой Flir. «У нас был отключен RGB канал в этом тесте. Нам пришлось объединить данные с других датчиков, поступающие от шины CAN, такие как инерция, скорость вращения колеса, угол поворота руля, положение педали и т. д. Это было необходимо для программирования функциональности AEB».

Помимо утверждения, что в качестве пассивного датчика ничто не обнаруживает пешеходов лучше, чем тепловизионная камера, Фил Магни упомянул о роли искусственного интеллекта для эффективности тепловизоров.

Он заявил: «В VSI мы доказали, что применение искусственного интеллекта для захвата теплового изображения способно превзойти традиционную RGB-камеру». Лаборатории VSI обучили свою нейронную сеть, используя набор данных Flir ADK (автомобильный набор разработки)». Он отметил, что «набор данных содержит примерно более 40 000 аннотированных тепловых изображений». «VSI также разработал алгоритмы AEB, а затем провел многочисленные тесты в ACM (Active Control Mount)», пояснил он.

Фил Магни пришел к выводу, что в целом тепловизионная камера лучше распознавала и классифицировала пешеходов в условиях низкой освещенности и загроможденных условиях. «Тепловизор также выявил пешеходов, которые были частично закрыты», — добавил он.

Кроме того, он сказал: «что нам нравится в Flir, так это их Automotive Development Kit, поскольку это дает разработчику возможность создавать свои собственные алгоритмы обнаружения.»

Читать еще полезные статьи:

• [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
• Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
• [Прогноз] Motornet — сеть обмена данными для роботизированного транспорта
• Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
• Камеры или лазеры
• Автономные автомобили на open source
• McKinsey: переосмысляем софт и архитектуру электроники в automotive
• Очередная война операционок уже идет под капотом автомобилей
• Программный код в автомобиле
• В современном автомобиле строк кода больше чем…