Разбираемся в «стиле вождения», заложенном в мозги автономных автомобилей

Я освещаю сферу automotive и часто пишу об алгоритмах и методах восприятия. Также я пишу о стилях и методах управления автомобилем. И лишь недавно я поняла связь между стилем вождения и алгоритмами восприятия.

Когда я нахожусь за рулем, я могу понять, что водитель рядом со мной – придурок по тому, как он (или, не дай Бог, она) водит. Я просто знаю что этот придурок меня подрежет, и он обязательно это делает.

Водители-люди делают много предположений о других участниках дорожного движения, дорожных условиях (плохая погода) или о том, что где-то собирается неизбежная пробка. Водители корректируют свои стратегии вождения в соответствии с этими предположениями. Для безопасности дорожного движения такая интуиция имеет решающее значение.

Но как быть роботизированным автомобилям? Как научить машину делать выводы о других водителях и реагировать в соответствии с предположениями и интуицией? Можно ли научить машину «интуиции»?

Эти вопросы мучали меня на прошлой неделе, когда я писала разбор недавних видео от Mobileye. В этих неотредактированных роликах можно увидеть как беспилотный автомобиль ловко маневрирует в плотном потоке движения в Иерусалиме.

Просматривая кадр за кадром, отматывая раз за разом, я пыталась хотя бы грубо представить себе как работает мозг машины. Я хотела понять что машина видит (или не видит), как она интерпретирует дорожную ситуацию и какие действия собирается предпринять. Впрочем, не будучи инженером в области беспилотного транспорта, понять машину очень трудно. Кажется, что она говорит на своем языке и принимает решения исходя из своих кибер-мыслей, которые мне понять не удалось.

Добро пожаловать в эпоху беспилотной езды.

Во время просмотра видео от Mobileye я наткнулась на несколько эпизодов, в которых маневры роботизированного автомобиля меня смутили. Я спросила у Mobileye и экспертов по беспилотному транспорту о том, что может происходить под капотом.

Некоторые ответы меня очень удивили, хотя и многое объяснили. В основном в этих ответах раскрывалось то, что СМИ упускают из виду (или преуменьшают): точку соприкосновения «восприятия» и «стиля вождения». Роботизированные автомобили действительно должны обладать четким и точным восприятием (об этом мы и так постоянно пишем) и использовать лучшие практики машинного обучения (самая горячая тема в СМИ). Впрочем, сейчас мы приходим к тому, что именно стиль и политика вождения могут иметь решающее значение для алгоритмов принятия решений в беспилотных автомобилях.

Четкое зрение

Мы все хотим, чтобы машины-роботы обладали идеальным зрением. Мы ожидаем, что они могут не только четко видеть дорогу перед собой, но и обнаруживать и правильно помечать все объекты вокруг, а затем, используя лучшие нейронные сети, действовать адекватно ситуации.

Впрочем, все что у нас есть сейчас – просто адекватные системы восприятия. Вне зависимости от наличия водителя, редкому автомобилю везет постоянно ездить в солнечную погоду, без других транспортных средств, зданий и деревьев, преграждающих обзор и пешеходов, переходящих не на свой сигнал светофора.

Четкое зрение очень важно, но одно лишь оно не позволит роботам водить безопасно.

В своей недавней книге «Sensors in Automotive — Making Cars See and Think Ahead» (опубликованной холдингом Aspencore Media, которому принадлежит EE Times) Фил Купман, технический директор Edge Case Research и доцент Университета Карнеги-Меллона приводит в пример ситуацию с ребенком, выбежавшим на дорогу, чтобы подобрать мяч, и беспилотным автомобилем, который собирается проехать по этой дороге.

«Один из сложных аспектов в восприятии и планировании – предсказать что произойдет дальше в изменяющейся ситуации»

«Датчики должны предоставлять информацию не только о движении и положении объекта, но и возможных изменениях в направлении движения»

Думать нужно по-другому

Системы восприятия и зрения «вероятностны по своей сути… как известно, они могут ошибаться» – так нам недавно сказал в нашем шоу EE Times on Air Weekly Briefing Джек Вист, старший главный инженер Intel и вице-президент Mobileye по стандартам автономных транспортных средств.

Исходя из того, что идеальных датчиков не существует (то есть «стопроцентная точность измерений на протяжении всего срока службы автомобиля» невозможна), Вист отметил, что «Для решения этой проблемы нам нужно думать по-другому. Нам нужно разработать методы измерений, которые будут удовлетворять существующим требованиям».

Интервью с Джеком начинается с 32:15

Необходимость в фреймворке для технологий безопасности

Здесь мы приходим к «игре в боулинг с бортиком», как выразился Вист.

Помните о модели Responsibility-Sensitive Safety (RSS), о которой Intel и Mobileye говорят с 2017 года?

После создания этой модели, Intel передала ее IEEE. Структура этой модели стала отправной точкой обсуждения стандарта IEEE, который должен помочь в разработке безопасных методов принятия решений для беспилотных автомобилей.

RSS – это «математическая модель, которая описывает безопасную область и соответствующие ей действия, которые должен совершать автомобиль», – пояснил Вист. «С ее помощью мы может предотвратить аварии с участием беспилотных автомобилей по их собственной вине или вине других водителей».

Если вкратце – RSS помогает беспилотным автомобилям избегать аварий так же, как бортики помогают новичкам в боулинге попадать по кеглям.

Предположения и прогнозы

Сторонники беспилотного транспорта утверждают, что машины-роботы могут спасти тысячи жизней. Впрочем, они не обращают внимания на те аспекты, на которые необходимо полагаться. Люди – прекрасные водители. Они делают предположения на основе интуиции, используют здравый смысл и они склонны рационально реагировать на потенциально опасные ситуации. Проблема в том, что роботам не хватает интуиции.

RSS – это попытка сделать человеческие предположения и «неявные» правила дорожного движения интерпретируемыми для машин через определение того, что составляет опасную ситуацию, что ее вызывает и как на нее реагировать. Безопасную дистанцию и приемы безопасного вождения для автомобилей описывают математические формулы, объяснил Вист.

Чего я не знала до того, как поговорила с Шаем Шалев-Шварцем, техническим директором Mobileye и старшим научным сотрудником Intel, так это того, что RSS также обеспечивает проверку алгоритмов искусственного интеллекта, отдающих команды управления автомобилем.

Как и алгоритмы восприятия, ИИ работает с значительной влиянием вероятности.

Во время просмотра видео Mobileye меня несколько встревожило то, что эксперты называют «эффектом мерцания» в программном обеспечении для визуализации. Кажется, что беспилотный автомобиль обнаруживает несколько припаркованных машин, и после нескольких секунд эти машины исчезают с экрана, а затем начинает меняться их количество.

Когда я спросила об этом, сотрудники Mobileye заверил меня, что ПО беспилотных автомобилей отслеживает объекты, даже если они не отображаются на дисплее.

Этот «уровень здравого смысла» работает на основе RSS.

Шалев-Шварц также отметил, что важным компонентом RSS является способность «знать о том, чего вы не знаете». Он прокомментировал это следующим образом:

В любой момент времени мы знаем, что любой отрезок трехмерного отображения попадает в одну из трех категорий: (1) отрезок занят каким-либо участником дорожного движения, (2) дорога свободна, (3) у нас нет знаний об этом отрезке. Логика действий на основе RSS отлажена на корректную работу в любом из случаев. Механизм работы в третьем случае хорошо применим к объектам, обнаруженным в двухмерном пространстве, но положение которых в трехмерном пространстве не вполне ясно.

Встроена ли RSS в программный стек для беспилотного транспорта?

Принимая во внимание тот факт, что политика вождения сейчас является основной темой в разговорах о стандартизации, как ее будут реализовывать различные компании?

Можно ли, например, разным компаниям встраивать RSS в собственный проприетарный программный стек?

Intel и Mobileye представили собственную реализацию RSS для IEEE P2846, которым занимается Вист. Вист также добавил, что другие компании тоже представили свои собственные модели безопасности. Поскольку мы говорим о технологически нейтральном стандарте, никто не обязан использовать «какие-либо конкретные микросхемы или датчики», пояснил Вист.

Так, например, «вполне возможно, что вы могли бы создать свою собственную модель безопаности, которая соответствовала бы стандарту [IEEE]».

Также Вист сделал замечание: «На данный момент, как вы знаете, мы решаем проблему для всей отрасли». Самый большой страх разработчиков беспилотного транспорта (несмотря на то, что о нем редко говорят) заключается в том, что из-за отсутствия позитивного вклада со стороны отрасли «у нас не может быть рынка, на котором мы могли бы продавать беспилотные транспортные средства». Он отметил, что если машинам-роботам не удастся уловить общие «предположения о других участниках дорожного движения», то им будет очень сложно найти между безопасностью и практичностью.

Кто еще использует IEEE P2846?

Если IEEE P2846 действительно должен стать отраслевым стандартом – кто еще его использует? Вист ответил так: «Я очень рад, что компания Waymo стала моим вице-председателем, а Uber — нашим секретарем. По недавним оценкам этим стандартом пользуется, я думаю, более 25 ведущих OEM-производителей».

В работе над P2846 принимают участие представители некоторых правительств, исследовательских институтов и ряда различных организаций. Группа рассчитывает завершить свой первый проект либо к концу этого года, либо в начале следующего.

Как подстраивать поведение систем беспилотной езды в зависимости от места использования?

Как я писала в своем недавнем посте, мне казалось, что небезопасный левый поворот машины от Mobileye, показанный на видео компании, станет красным флагом. Некоторые читатели согласились. Из-за того, что автомобиль выехал на дорогу и заблокировал движение, заставив приближающийся мотоцикл остановиться, весь этот маневр вовсе не кажется безопасным.

Шай Шалев-Шварц, впрочем, был непреклонен. Он прокомментировал данную ситуацию следующим образом: «Это совершенно нормально в Израиле и большинстве западных стран. Ждать идеальной ситуации бесполезно».

Возможно блокировать движение в Иерусалиме – это в порядке вещей, но говорить, что это нормальное явление в большинстве западных стран – большая натяжка. Скорее так мы увидим как отличается терпимость людей к «агрессивному вождению» в разных странах и городах.

Представьте себе как Mobileye поставит это ПО в Китай, чтобы помочь Geely создать систему ADAS, которая позволит не держать руки на руле. Как Mobileye будет исправлять свое ПО в соответствии с китайскими привычками вождения? Будет ли все это означать, что разработчикам беспилотного транспорта придется разрабатывать отдельные стеки для разных регионов?

Хорошая новость заключается в том, что поведение водителей не фиксируется в стеке ПО для беспилотных автомобилей. Вист сказал, что «на самом деле очень здорово, что все эти неявные правила вождения встроены в модель безопасности, и во всей остальной части стека для беспилотной езды их может не быть».

Другими словами, «политику вождения на основе RSS можно адаптировать к разным стилям без ущерба безопасности», утверждает Шалев-Шварц.

Комбинация датчиков

Популярная среди разработчиков ПО для беспилотного транспорта мудрость заключается в следующем: если система компьютерного зрения не может понять на что она смотрит (или, что еще хуже, не знает что делать дальше) – нужно добавить к ней дополнительные датчики. Например, радар и лидар. Объедините эти датчики в цельный набор, чтобы беспилотный автомобиль действовал более уверенно, а его система восприятия была ближе к реальному миру.

У Mobileye свой подход к сочетанию датчиков. В их беспилотных автомобилях 4 уровня, показанных на видео, радаров и лидаров нет – только 12 камер.

Амнон Шашуа, президент и генеральный директор Mobileye, в начале этого года на CES объявил, что в беспилотных автомобилях 4 уровня его компании используются современные достижения ИИ и различные нейросетевые алгоритмы, запущенные на нескольких независимых модулях компьютерного зрения.

По словам Шашуа, дополнительные модули с нейронными сетями обеспечивают «внутреннюю избыточность». Также он прокомментировал систему «VIDAR» – решение от Mobileye, которое позволяет добиваться показателей, близких к эффективности лидаров, только с помощью камер.

Впрочем, Mobileye также работет над собственными радаром и лидаром. Можно ли сказать, что компания перестраховывается?

Вист объяснил это так: «у нас есть отдельный автомобиль, на котором установлены только радал и лидар», работающий в Иерусалиме. Наша цель заключается в том, чтобы чтобы сделать автомобиль с радаром и лидаром, который будет работать наравне с автомобилем, оборудованным только камерами.

Он также добавил, что «затем камеры и лидар с радаром можно будет объединить, и по сути мы получим две избыточные (но разные по принципу работы) реализации датчиков, работающие параллельно. Таким образом, мы можем сформировать две разные модели мира и объединить их – вместо того, чтобы зависеть от единственной модели и полагаться в плане точности только на нее».

Другими словами, две системы восприятия позволяют машине перестраховаться.

• Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
• В современном автомобиле строк кода больше чем…
• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• McKinsey: переосмысляем софт и архитектуру электроники в automotive