Новости переполнены историями о системах ИИ, которые, к сожалению, демонстрируют различные когнитивные искажения, включая расовые предрассудки, предвзятость по половому признаку, дискриминацию по возрасту и многие другие.
Как это происходит?
Сперва некоторые указывали пальцами на разработчиков, которые создают системы ИИ.
Считалось, что их собственные предубеждения переносятся в код, который они пишут. Таким образом, был объявлен призыв к большему разнообразию в области разработки программного обеспечения для ИИ, и в настоящее время предпринимаются усилия для достижения таких целей.
Однако, оказалось, что доминирующий фактор заключается не только во взглядах разработчиков. Многие начали понимать, что используемые алгоритмы также являются важным элементом.
Есть и другой аспект.
Многие алгоритмы ИИ, используемые для машинного обучения (ML) и глубокого обучения (DL), по сути, выполняют сопоставление с шаблоном, и поэтому, если данные, используемые для обучения или обучения системы ИИ, содержат множество примеров с заложенной предвзятостью, то есть большая вероятность того, что эти предрассудки будут перенесены в систему ИИ, и работать она будет соответственно.
Дело не в том, что алгоритмы намеренно генерируют предрассудки (они не сентиментальны), а в том, что тонкий подбор математически «скрытых» предрассудков через данные, поступающие в развитие системы ИИ, основан на достаточно грубом сопоставлении шаблонов.
Представьте себе компьютерную систему, которая не имела никакого представления о мире. Вы неоднократно показываете ей серии фотографий людей, стоящих и глядящих в камеру. Допустим, на снимках были написаны профессии этих людей.
Мы будем использовать фотографии в качестве данных, которые будут использоваться при машинном или глубоком обучении.
Алгоритм, который делает сравнение с шаблоном, может вычислить, что если кто-то высокий, то это баскетболист.
Конечно, высокий рост не всегда означает, что человек является баскетболистом, и, таким образом, сопоставление с образцом создает потенциальные вопросы о том, что ИИ будет делать, когда ему будут представлены новые фотографии и предложено определить, что человек делает для того, чтобы зарабатывать на жизнь.
Также вы должны понимать, что у этой медали есть две стороны.
Высокий человек на новой фотографии будет классифицирован как баскетболист. Кроме того, ИИ вряд ли скажет, что невысокий человек играет в баскетбол (поэтому классификационный подход должен быть всеохватывающим и, более того, он должен стремиться к тому, чтобы минимизировать исключения).
Вместо использования роста, сопоставление с образцом также может подсчитать, что если кто-то носит спортивную майку, то он баскетболист.
Все это создает проблемы, так как ношение спортивной майки не является ни гарантией того, что человек является баскетболистом, ни свидетельствует о том, что он вообще связан со спортом.
Сопоставление с образцом может учитывать множество факторов, и среди них, в том числе, может быть и человеческая раса. В дальнейшем, ИИ может учитывать расу человека при поиске закономерностей в изображениях.
В зависимости от количества фотографий, на которых изображены люди разных рас, сопоставление с образцом может рассчитать, что человек, занимающий должность X, ассоциируется с расой типа R.
В результате, вместо того, чтобы учитывать рост, спортивную одежду или любые другие подобные факторы, алгоритм будет учитывать расу в качестве ключевого фактора и отныне будет использовать этот фактор при попытке классифицировать вновь представленные картинки.
Если вы будете использовать эту систему ИИ в приложении, которое позволяет сделать селфи и спросить, какой вид занятости вам больше всего подходит, то представьте профессии, которые это приложение может предложить, учитывая расовые предрассудки, встроенные в ИИ.
Еще страшнее то, что никто не может понять, как система ИИ дает свои рекомендации, так как расовый фактор скрыт в математических расчетах.
Сперва вы можете решить, что если алгоритм решил использовать в качестве ключевого фактора расу человека, то он плохо спроектирован.
Дело в том, что многие алгоритмы машинного и глубокого обучения – это всего лишь инструмент, изучающий все доступные аспекты, присутствующие в данных, а потому учет расы не может быть запрограммирован или предустановлен как фактор.
Теоретически, разработчики ИИ и специалисты по данным, использующие эти алгоритмы, должны анализировать результаты сопоставления с образцом, чтобы попытаться выяснить как именно запоминаются характерные особенности, содержащиеся в данных.
К сожалению, все затрудняется тем, что сложность сопоставления с образцом возрастает, а это значит, что характерные и повторяющиеся свойства в данных не настолько очевидны, чтобы можно было легко понять, что раса, пол или другие подобные свойства были математически заложены в основу того, на что ориентируется система ИИ.
Существует угроза того, что эти сложные алгоритмы, которые получают на вход тонны данных, не смогут объяснить какие именно факторы были обнаружены и на чем основывается их выбор. По мере того, как все больше и больше систем ИИ внедряется в нашу повседневную жизнь (и закладывается в основу множества процессов), растет потребность в объяснимом искусственном интеллекте,
Есть интересный вопрос: могут ли беспилотные автомобили, основанные на ИИ, стать расово предвзятыми (и/или предвзятыми по другим факторам – возрасту, полу и т.д.)?
Конечно, возможен и такой сценарий.
Этот вопрос следует включить в список проблем, которые автопроизводители и технологические фирмы должны стремиться предотвратить.
Давайте разберемся с этим вопросом.
Уровни беспилотных автомобилей
Важно уточнить, что я имею в виду, когда говорю о полностью беспилотных автомобилях с ИИ.
Настоящие беспилотные автомобили – это транспортные средства, в которых ИИ осуществляет управление самостоятельно, без какой-либо помощи со стороны человека.
Такие транспортные средства относят к 4 и 5 уровням, в то время как автомобили, которые требуют участия человека для совместного вождения обычно относят к 2 или 3 уровню. Автомобили, в которых вождение осуществляется с помощью человека называют полуавтономными, и обычно они содержат множество дополнительных функций, которые относят к ADAS (продвинутые системы помощи водителю).
Пока что не существует полностью беспилотного автомобиля 5 уровня. На сегодняшний день мы даже не знаем удастся ли этого достичь, и сколько на это потребуется времени.
Тем временем, в области 4 уровня ведутся работы. Проводятся очень узкие и выборочные тесты на дорогах общего пользования, хотя ведутся споры о допустимости таких испытаний (некоторые считают, что люди, участвующие в тестах на дорогах и шоссе, выступают как морские свинки, которые в каждом испытании могут как выжить, так и погибнуть).
Поскольку полуавтономным автомобилям необходим водитель-человек, принятие таких автомобилей широкими массами не будет сильно отличаться от вождения привычных машин, нет ничего нового, что можно было бы о них сказать в контексте нашей темы (хотя, как вы скоро увидите, пункты, которые будут рассмотрены далее, к ним применимы).
В случае с полуавтономными автомобилями важно, чтобы общественность была предупреждена о тревожном аспекте, который возник в последнее время – несмотря на людей, которые продолжают публиковать видео о том, как они засыпают за рулем автомобилей 2 или 3 уровня, все мы должны помнить, что водитель не может отвлекаться от управления полуавтономным автомобилем.
Вы несете ответственность за действия по управлению транспортного средства 2 или 3 уровня, независимо от уровня его автоматизации.
Беспилотные машины и когнитивные искажения
В транспортных средствах 4 и 5 уровня человек не принимает участия в управлении, все люди в этих машинах будут пассажирами, а вождением будет заниматься ИИ.
Рассмотрим один важный аспект вождения – необходимость следить за тем, что собираются делать пешеходы.
Когда вы едете по своему району (или в центре города), скорее всего, вы смотрите на пешеходов, которые стоят на углу и ждут, чтобы начать переходить дорогу на пешеходном переходе. Вы особенно внимательны, когда этот переход не управляется светофором.
Вы пристально смотрите на этих пешеходов, потому что по собственному опыту знаете, что иногда люди переходят дорогу даже в небезопасных ситуациях.
По данным национальной администрации безопасности дорожного движения США, примерно 60% смертельных случаев с пешеходами происходит на пешеходных переходах.
Рассмотрим два важнейших вопроса:
- Каким образом вы решаете, будет ли пешеход пересекать дорогу?
- И как вы принимаете решение остановиться и позволить пешеходу пересечь дорогу?
Существуют различные исследования, в которых рассматривались эти вопросы, и некоторые из них позволяют предположить, что иногда встречаются водители, которые, судя по всему, принимают свои решения, основываясь на расе пешехода.
В одном из исследований национального института транспорта и общества был проведен эксперимент, который «показал, что водители пропускают темнокожих пешеходов в два раза реже, а их время ожидания на 32% больше, чем у белых пешеходов».
Исследователи пришли к выводу, что «результаты подтверждают гипотезу о том, что пешеходы из числа меньшинств подвергаются дискриминации со стороны водителей».
Аналитики и статистики утверждают, что следует с осторожностью интерпретировать результаты и делать широкие заявления на основе таких исследований, так как есть ряд дополнительных аспектов, которые необходимо учитывать.
Кроме фактора явной предвзятости также существуют скрытые предрассудки, которые дополняют тему, о которой идет речь.
Некоторые исследователи полагают, что водитель может и не осознавать, что он действует исходя из таких предубеждений, и, тем не менее, он может ненамеренно проявлять предвзятость. При принятии решения о том, продолжать ли движение по пешеходному переходу или остановиться, чтобы дать пешеходу перейти дорогу, в дело вступает подсознание.
Отложите в сторону особенности водителя-человека и подумайте о том, что это может означать при попытке обучить систему ИИ.
Представьте, что вы собрали большое количество данных о ситуациях на пешеходных переходах, включая многочисленные примеры действий водителей, которые решили остановиться, чтобы дать пешеходу перейти, и водителей, которые проехали мимо. На что мог бы опираться алгоритм в качестве образца для подражания, если бы вы передали эти данные в модель машинного или глубокого обучения?
Основываясь на представленных данных, модели машинного и глубокого обучения могут вычислить, что бывают случаи, когда водители-люди не пропускают пешеходов, и исходя из этого может быть проведен статистический расчет, потенциально основанный на использовании расы в качестве фактора.
По сути, как и в предыдущем примере с профессиями, система ИИ может «бездумно» находить математическую закономерность, учитывая расу.
Возможно, если водители действительно учитывают расовый фактор, то шансы на то, что интеллектуальные системы будут вести себя также, вероятно, возрастают. Хотя, даже если водители так не поступают, системы машинного и глубокого обучения могут учитывать расу в своих оценках.
Таким образом, системы ИИ, которые управляют беспилотными автомобилями, могут включать в себя множество предубеждений. Эти предубеждения попадут в ИИ в результате обработки большого количества данных и попыток математически определить закономерности, которые действительно существуют.
Сложно выяснить, что в ходе вычислений, система ИИ пришла к такому выводу.
Если сами системы машинного и глубокого обучения, по сути, не поддаются логическому объяснению, то у вас практически нет шансов вычислить эти предубеждения.
Другой подход заключается в проведении тестирования, которое позволит обнаружить, что в систему ИИ попали предрассудки. Проблема в том, что такое тестирование должно быть достаточно обширным, при этом, такое тестирование может и не выявить эти предрассудки, особенно если они малозаметны и связаны с другими сопутствующими факторами.
Это головоломка.
Решение проблем
Некоторые утверждают, что разработчики ИИ должны отказаться от использования данных и вместо этого им следует программно разработать код для обнаружения пешеходов, который будет принимать решение о действиях на переходах.
Или, может быть, просто машинам следует всегда останавливаться на пешеходном переходе для всех пешеходов, тем самым, предположительно, исключая все шансы на проявления предвзятости.
Ну, проблемы не решаются сами по себе.
Да, явное программирование обнаружения пешехода и настройка поведения на пешеходном переходе — это действительно то, что делают многие автопроизводители и технологические фирмы, занимающиеся беспилотным транспортом. Тем не менее, это не гарантирует, что в коде не будет какой-то предвзятой оценки.
Более того, преимущество использования машинного и глубокого обучения заключается в том, что алгоритмы уже доступны, и вам не нужно писать что-то с нуля. Вместо этого вы собираете данные и подаете их в модель. Обычно это быстрее, чем разработка с нуля, и такой подход может быть более эффективным и превосходить то, что программист мог бы написать сам.
Что касается обязательной остановки при приближении к переходу, то некоторые автопроизводители и фирмы, занимающиеся беспилотным транспортом, используют такой подход как принцип. Можете себе представить, как это раздражает других водителей и вызывает у них недовольство беспилотными автомобилями (вы когда-нибудь ехали за робким водителем, который всегда останавливается на пешеходных переходах? Наверняка вы очень сердились в подобных ситуациях)? Все это может привести к незначительным авариям, так как беспилотные автомобили могут останавливаться резко и внезапно.
Расширяя взгляд на ИИ и самоходные автомобили, имейте в виду, что пешеход на переходе — это лишь один из таких примеров.
Еще одна тема для обсуждения – как беспилотные автомобили будут выбирать, маршрут до того места, куда попросит ехать пассажир?
Пассажир может попросить ИИ доставить его в другую часть города.
Предположим, что система ИИ выбирает маршрут, который избегает определенной части города, а затем снова и снова использует этот же маршрут. Постепенно модель машинного или глубокого изучения может к этому привыкнуть, после чего система будет всегда идти по одному и тому же маршруту.
Это может означать, что некоторые части города никогда не увидят беспилотных машин на своих улицах.
Некоторые опасаются, что это может стать своего рода предвзятостью или дискриминацией со стороны беспилотных машин.
В чем причина этих явлений?
Отмечу в очередной раз – основная причина может заключаться в данных, которые подаются системе ИИ на вход.
Расширим наш обзор еще сильнее – учтите, что все беспилотные автомобили могут отправлять данные о своей езде в облачную систему автопроизводителя (или в аналогичиную систему технологической фирмы, управляющей автопарком).
Надежда состоит в том, что, собрав эти данные с сотен, тысяч или, в конечном счете, миллионов беспилотных автомобилей, их можно будет просмотреть и исследовать, чтобы улучшить езду беспилотных автомобилей.
С помощью передачи информации по воздуху, данные будут передаваться в облако, и всякий раз, когда потребуются новые обновления или исправления, они будут загружаться в автомобили.
Я уже предупреждал, что это может привести к огромному вторжению в частную жизнь, так как вам нужно осознать, что в беспилотном автомобиле установлены камеры, радар, лидар, ультразвуковые, тепловые и другие устройства для сбора данных. И все эти приборы будут бесстыдно захватывать все, что они видят или обнаруживают во время поездки.
Автомобиль без водителя, проезжающий по вашему району и спускающийся вниз по вашему кварталу, как правило, записывает все, что происходит в области его видимости.
Так, вы можете находиться на лужайке перед домом, играть в мяч с детьми, а в это время вас запишут на видео и отправят это видео в облако.
Если предположить, что автомобили без водителя постоянно кружат вокруг, чтобы быть доступными для тех, кто нуждается в поездке, то мы можем получить возможность объединить наши ежедневные дела и развлечения.
В любом случае, могут ли модели машинного и глубокого обучения, которые ищут закономерности в огромном массиве данных, быть уязвимыми к сбору заведомо предвзятых данных, которые позже будут выгружены в облако и использованы другими машинами в автопарке?
Да, они могут.
Заключение
Описание этой проблемы в некоторой степени предвосхищает ее возникновение.
На наших дорогах так мало беспилотных машин, что не существует способа, который позволит прямо сейчас узнать, могут ли эти беспилотные машины воплощать какие-то предрассудки.
До тех пор, пока количество беспилотных машин не станет достаточно большим, мы, возможно, не осознаем потенциальную проблему встроенных и довольно незаметных вычислительных предубеждений.
Некоторые люди, похоже, ошибочно полагают, что системы ИИ имеют здравый смысл и поэтому не позволяют предвзятости войти в их «мыслительные» процессы.
Нет, пока еще нет такого понятия, как надежный здравый смысл для систем ИИ. По крайней мере, исходя из того, что человек может сделать с точки зрения использования своего здравого смысла.
Некоторые также предполагают, что ИИ станет разумным и, вероятно, сможет обсуждать с нами, людьми, любые проявления предвзятости, которые у него могут быть, что поможет ему избавиться от этих предвзятостей.
Извините, ждать так называемой технологической сингулярности в ближайшее время не приходится.
На данный момент, внимание должно быть сосредоточено на изучении данных, которые используются для обучения систем ИИ, а также на анализе того, что формулируют системы машинного и глубокого обучения. Кроме этого, нужно обратить внимание на возможность использования объяснимых интеллектуальных систем, которые могут дать дополнительное представление о том, что делает система ИИ.
Это человеческая проблема, требующая человеческого решение, а не «познавательная» проблема ИИ, которая должна ждать решения в терминах ИИ.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Читать еще полезные статьи:
- [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
- Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
- [Прогноз] Motornet — сеть обмена данными для роботизированного транспорта
- Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
- Камеры или лазеры
- Автономные автомобили на open source
- McKinsey: переосмысляем софт и архитектуру электроники в automotive
- Очередная война операционок уже идет под капотом автомобилей
- Программный код в автомобиле
- В современном автомобиле строк кода больше чем…
