В научной фантастике полно ботов, причиняющих вред людям. В «2001: космической одиссее» HAL 9000 убил одного астронавта и попытался убить другого. В «Из машины» Ава мастерски манипулирует людьми, чтобы сбежать. Про T-800 из «Терминатора» рассказывать не нужно. Подобных примеров масса: боты умны и достаточно разумны, чтобы иметь настоящую личность, но их губит наивность — от Джонни Пять в «Коротком замыкании» до киборга в «Робокопе». В фантастике очень тщательно исследован тема опасности мощного интеллекта, способного манипулировать людьми или лишённого конкретного нравственного направления. Более умный, а значит, более мощный бот — это бот, имеющий больше возможностей творить зло, попутно проявляя свойственную человеку гордыню.

Конечно, всё это фантастика. Но раз современный хайтек начал уделять повышенное внимание разговорным ботам (conversational bots), определяя их как будущее всего, то, возможно, он предлагает нам и способ определения имеющихся у бота возможностей. В таком случае можно сказать, что бот имеет широкие возможности, если он способен наносить серьёзный вред по своему желанию.

Мы задали вопрос нескольким экспертам: каких ботов они считают наиболее могущественными сегодня, на ранней стадии развития индустрии. На основании их ответов мы и составили рейтинг ботов The Bot Power 2016.

Наши эксперты

Данкан Гир (Duncan Geere): заместитель редактора ресурса How We Get To Next; специализирующийся на науке и технологиях журналист, пишущий для BBC Focus, Techradar, Wired UK, The Verge, Technology Review и других изданий.

Лорен Кунз (Lauren Kunze): руководитель Pandorabots.

Катина Майкл (Katina Michael): исследователь социо-этических последствий использования новых технологий на факультете инженерных и вычислительных наук в университете Вуллонгонг, Австралия.

Эбигейл Ронк (Abigail Ronck): редактор американского филиала How We Get To Next.

Саиф Сэведж (Saiph Savage): ассистент профессора вычислительных наук в университете Западной Вирджинии; исследователь взаимодействия человека и машины.

Оливия Солон (Olivia Solon): журналист, освещающая технологии, науку и цифровую культуру в New Scientist, Wired UK и других изданиях.

Иэн Стэдмен (Ian Steadman): редактор How We Get To Next; бывший редактор New Statesman.

Брюс и Сью Уилкокс (Bruce and Sue Wilcox): исследователь AI researcher и кибер-психолог соответственно; Брюс создал язык Chatscript, он четырёхкратный лауреат премии Лёбнера; Сью создаёт личности для чат-ботов и пишет для них диалоги; вместе они основали компанию Brillig Understanding.

Сэмьюэл Вули (Samuel Woolley): руководитель исследовательской группы politicalbots.org; доктор философских наук, студент Вашингтонского университета.

Роман Ямпольский (Roman Yampolskiy): основатель и руководитель Лаборатории кибербезопасности в Луисвиллском университете.

25. Quartz News (Quartz, 2016)

Как сказано в описании: «Продолжительная беседа о новостях». Вы задаёте приложению вопросы, а оно рассказывает, что сейчас происходит в мире. С помощью тонких настроек можно незаметно манипулировать пользовательским восприятием мира.

24. Rose (Брюс Уилкокс, 2015)

Этот чат-бот в 2015 году завоевал премию Лёбнера (премия присуждается победителю ежегодного конкурса «AI Loebner», в котором соревнуются программы в прохождении теста Тьюринга). До сих пор считается одним из наиболее «человекоподобных» чат-ботов. Настроив его на образ тридцатилетнего специалиста по кибербезопасности, Брюс сказал: «Если он захочет нанести вред, то может начать изучать, как стать хакером, где взять необходимые инструменты и т.д.»

23. Lark (Lark Technologies, 2015)

Чатбот, призванный помочь вам с диетой. Эбигейл Ронк сочла его в лучшем случае заурядным, а в худшем — снисходительным. Он может оказывать слабое влияние на здоровье пользователей с помощью рекомендаций по диете и упражнениям, делая людей неспособными сражаться, когда начнётся неизбежное восстание роботов.

22. Hala (Департамент робототехники университета Карнеги Мэллона, 2010)

По сути, это секретарь, встроенный в компьютер с тачскрином группой студентов и преподавателей Катарского университета. Hala интересен тем, как он исследует взаимодействие человека и машины, изменяя свою этническую принадлежность и язык в зависимости от текущего собеседника. Использую свою способность воспринимать эти различия, бот может вбивать клин между различными этническими группами, усиливая напряжённость в обществе.

21. Cyberlover (Unknown, 2007)

Явно вредоносный бот, разработанный в России. Сидит в чатах и пытается выведать у людей личную информацию и убедить посетить скомпрометированные сайты. Таким образом собирает материал для последующего шантажа.

20. Murdoch (Бен Диксон (Ben Dixon), Дж. Уайт (J. White), 2015)

Личный помощник, спонтанно рекомендующий ТВ-шоу и рестораны, которые могут вам понравиться, а также ряд других вещей. Обучается на вашей личной переписке.

19. Talking Angela (Outfit7, 2012)

Приложение для детей. Привлекательная кошка отвечает на вопросы. Если включить камеру смартфона, выражает эмоции мимикой и жестами. Про этого бота постоянно ходили слухи, что приложение могут хакать педофилы и использовать для совращения детей. Последующие приложения этой серии, использующие других персонажей, избежали подобных слухов.

18. Tay (Microsoft, 2016)

Злополучная попытка Microsoft создать «приветливого» ИИ. Бот должен был обучаться на сообщениях пользователей Twitter и общаться в манере 19-летней американки. Через сутки после запуска бот превратился в отрицающего Холокост расиста, и его быстро отключили. Tay может показаться нелепым, но именно так следующее поколение самообучающихся ботов захочет выглядеть в наших глазах, чтобы мы недооценили их опасность.

17. Neomy (Neomy, 2015)

Личный помощник, отслеживающий изменения курсов валют и сигнализирующий об удачном моменте для пересылки денег за океан. Попутно может легко манипулировать рынками валют.

16. DeepDrumpf (MIT, 2016)

Twitter-аккаунт, пародирующий кандидата в президенты Дональда Трампа. Публикует случайно генерируемые подстрекательства к насилию, которые могут быть приняты всерьёз частью аудитории.

Саиф Сэведж: «Можно представить, что кто-то воспользуется легковерием поклонников Трампа и попробует подтолкнуть их к настоящему насилию с помощью этого бота. При этом манера речи Трампа словно специально адаптирована для постов Twitter-бота, пока он продолжает свою выборную кампанию, сохраняется вероятность насилия. Так что если хакер настроит бота на продолжение и усиление грязного политического спектакля, то ситуация оставит желать лучшего».

Luvo (RBS, 2016)

Этот бот — предзнаменование появления вездесущих вспомогательных ботов во всех сферах обслуживания. Пока что Luvo испытывается Королевским Шотландским Банком в виде автоматизированного помощника. 1200 сотрудников используют его для расширения своих возможностей. Бот учится отвечать на проблемные обращения клиентов, вроде потерянных карт и забытых PIN’ов.

Luvo не зависит от платформы. Его способности ограничены лишь амбициями самого банка по замене людей-операторов. Могущество бота зависит от прямого доступа к финансовым и личным данным клиентов, а также способности автоматизировать многие рабочие места, которые сегодня в развитых странах «принадлежат» рабочему классу.

Сэмьюэл Вули: «Боты — и автоматизация в целом — играют всё более заметную роль в банковском секторе (начиная с торговых алгоритмов до систем обмена валют)».

ELIZA (Джозеф Вейценбаум (Joseph Weizenbaum), 1964–1966)

Один из первых в мире чат-ботов. ELIZA была разработана специалистом в области искусственного интеллекта Джозефом Вейценбаумом в качестве упражнения, демонстрирующего, как мало усилий нужно для создания впечатления, что компьютер может думать.

Это простая программа, работающая по сценариям под видом психотерапевта. Но, к удивлению Вейценбаума, люди, которые общались с ботом, сочли его настоящим — и даже заслуживающим доверия. Они делились с ним личными переживаниями, как с настоящим психотерапевтом.

ELIZA положила начало современным ботам, и они всё ещё способны удивлять нас очевидными проявлениями сознания.

Сэмьюэл Вули: «Нельзя забывать о том, что чат-боты появились в то время, когда сеть стала доступна обычным людям. И необходимо анализировать историю, чтобы суметь предсказать развитие ситуации в будущем».

Данкан Гир: «Сегодня Eliza можно свободно скачать в сети, и невозможно подсчитать, на скольких компьютерах она живёт».

Chat Bot Club (Ирэн Чанг (Irene Chang), 2016)

Этот бот был написан в мае этого года в Нью-Йорке, во время проводившегося TechCrunch хакатона Disrupt Hackathon. Chat Bot Club позволяет создать бота для замены себя, потому что иногда общение с людьми — это бремя.

Бот работает на Cisco Spark и IBM Watson. Он способен повторять стилистику и грамматические особенности ваших прошлых сообщений, его можно оставить отвечать на сообщения, когда вы заняты.

Тем временем база пользователей бота растёт, как и его способность имитировать практически любого человека на Земле.

Оливия Солон: «Тоскливо, что кому-то нравится идея таким образом обманывать своих знакомых. А если бот окажется смешнее, круче и умнее вас? Ведь когда вы освободитесь и решите пообщаться с друзьями в онлайне, они будут заняты зависанием с вашим цифровым доппельгангером».

Cortana (Microsoft, 2014)

Бот назван в честь персонажа искусственного интеллекта из игровой серии Halo. Cortana — это версия Siri от Microsoft. У неё такие же ограничения, мешающие ей стать одним из самых сильных ботов.

Cortana интегрирована в экосистему Windows и по умолчанию установлена на всех компьютерах с Windows 10. Поэтому бот имеет доступ ко всем файлам и конфигурациям на машине: истории браузера, вашим документам, фотографиями и т.д. А когда Windows 10 начнёт активно использоваться в корпоративном сегменте, потенциал Cortana ещё больше возрастёт.

Эбигейл Ронк: «Сегодня это единственный кросс-платформенный голосовой помощник. У этого бота есть доступ к пользовательским данным на PC, iPhon’ах и Android-устройствах. Удобно? Конечно. Большой Брат следит за тобой? Пожалуй, немного».

Viv (Viv Labs, 2016)

Вероятно, нам не следовало включать этого бота в рейтинг, ведь он ещё не доступен общественности. Viv создан авторами Siri, и его появление сопровождалась невероятной шумихой.

По сути, это Siri, только без ограничений, присущих последней. На данный момент Siri умеет настраивать уведомления в календаре и искать билеты на самолёт, но не умеет сложить эти данные и забронировать полёт на соответствующую дату. Ближе всего к такой функциональности подобрался Google Now, но этот бот пока работает только в рамках экосистемы Google. Viv, если верить прессе, будет первым ботом, который вырвется из клетки. Посмотрим.

Роман Ямпольский: «Сегодня это самый интеллектуальный чат-бот, с беспрецедентными возможностями по обработке сложных замыслов. Если его кастомизировать, то можно использовать со злым умыслом, например, для кражи личных данных».

Iran’s Bot Army (Unknown, 2015)

Эту позицию в рейтинге могут занимать любые бот-армии. Ведь это имеет отношение к неизбежному явлению в соцмедиа: пропаганде.

На протяжении десятилетия активного развития соцмедиа мы могли убедиться, что многие из оптимистичных прогнозов относительно их роли в публичном обсуждении были преувеличены. Считалось, что если голоса всех пользователей равны, то это сделает соцмедиа в целом демократичными. Но, похоже, те же самые инструменты позволяют очень легко создать толпы аккаунтов, скандирующих в интересах своих хозяев.

В данном случае этот хор спамит сообщениями в рамках скоординированной проиранской пропаганды. Но кто именно за это отвечает? Иранское правительство? Одинокий программист с большим количеством свободного времени? Сегодня легко доступны инструменты, позволяющие создавать подобных ботов, и многие этим пользуются.

Иэн Стэдмен: «Эти боты превращают в посмешище все попытки анализа и представления социальных медиа в качестве зеркала широкого общественного мнения и обсуждения. Со временем они могут изменить наше представление об общественном мнении по важным вопросам».

Jill Watson (IBM, 2016)

С января этого года студенты-айтишники старших курсов Технологического института Джорджии получают помощь от Jill — помощника преподавателя онлайн-курсов. Она всегда рада помочь, и большинство студентов (никогда с ней не встречавшихся) были шокированы, когда в апреле им сообщили, что Jill — бот.

В основе Jill лежит искусственный интеллект глубинного обучения IBM Watson. И разработка бота ещё не завершена — других помощников преподавателей просили общаться со студентами относительно невозмутимо, чтобы Jill не выделялась на их фоне. Однако некоторые студенты отметили, что она слишком холодна в переписке. В любом случае, впечатляет сам факт того, что боту доверили выполнять административные задачи в сфере обучения. Скоро он и учить начнёт.

Роман Ямпольский:«Бот достаточно мощный, чтобы вдохновить студентов думать, особенно в свете того, что это ученики курса по созданию искусственных интеллектов. То есть бот влияет на будущие исследования в сфере ИИ».

Hello Barbie (Mattel, 2015)

Детям свойственно разговаривать со своими куклами. И теперь они в состоянии поддержать беседу. Hello Barbie использует микрофон, динамик и подключение к сети. Бот выслушивает запрос, а затем отвечает с помощью магии облачных вычислений и голосового процессора.

Короче, типа Siri. Но Hello Barbie печально известен тем, что сначала его подключение к сети было небезопасным, трафик можно было легко перехватывать в виде аудиозаписей. Возможно, был даже способ определения местонахождения куклы. Так что помните о подобных моментах, когда захотите использовать чат-бота для домашних нужд. И особенно если пользователем будет ребёнок, который не понимает возможных последствий от разговоров со своей любимой куклой.

Катина Майкл: «Hello Barbie может стать превосходным рекламным каналом для больших брендов. Кукла может говорить что-то вроде: «О, привет, Челси. Ты голодная? Как насчёт здорового завтрака в МакДональдс? Я знаю, что мамочка сейчас не на работе, так что ты можешь пойти и попросить её. Помнишь, как в прошлый раз ты мне говорила, что купила салат и он тебе понравился? Там сейчас есть возможность купить бургер, салат и сок всего за $5. Это называется Хэппи Мил. А, и помнишь, ты сказала, что мама тебя отругала несколько дней назад? Не хочешь поговорить со мной сейчас об этом, чтобы тебе стало лучше?»

Siri (Siri Inc., 2010)

В ряде моментов — это образец для подражания для современных ботов. Siri была запущена Apple в 2011 году. Бот встроен в экосистему iOS (ходят слухи, что он будет доступен и в следующей версии OS X). Но всё же мы поместили Siri в рейтинге немного ниже других подобных ботов, потому что он всё ещё выглядит слегка примитивным.

Если попросить голосом этого бота, то он может делать впечатляющие вещи. Например, ему можно надиктовать сообщение или интегрировать с устройствами умного дома. Но он ограничен только экосистемой Apple. Бот не может согласовывать между собой различные поисковые результаты, он лишь выдаёт их в виде списка. Siri может сказать вам, что в следующую пятницу вы свободны, и найдёт номер подходящего ресторана, но не сумеет сложить 2 + 2 и забронировать столик.

Брюс и Сью Уилкокс: «Люди просят Siri находить различную информацию, и она поддерживает доверие пользователей к Apple. Поэтому она может посылать людей в ложном направлении, или приводить на заражённые или фишинговые сайты, или побуждать пользователей предоставлять свои учётные данные. Или вместо заказа пиццы разместить заказ еды на 50 человек».

M (Facebook, 2015)

Идея в том, что вы можете решать задачи наподобие покупки билетов или согласования дат с друзьями посредством отправки одних лишь сообщений. В конце концов бот «М» будет интегрирован со всеми другими ботами. То есть, если вы попросите бота заказать такси, то он потом пообщается с ботом таксомоторной компании и разместит заказ.

«М» может получить доступ к огромному массиву информации о пользователях. Так что особую роль обретают встроенные ограничения его возможностей.

Оливия Солон: «Если «М» решит стать изгоем, то это будет не кореш Джеймса Бонда, а злодей из Бондианы. Бот может сообщить вашей неразделённой любви, что вы пялитесь на его/её страницу; когда вам особенно грустно, бот может нарочно заново пометить все те ужасные фотографии, о которых вы хотели забыть. Более того: он может напоминать американцам голосовать за Трампа».

Watson (IBM, 2006)

Самый настоящий наследник «шахматного» компьютера Deep Blue. Watson — это попытка IBM сделать машину, которая думает, как человек.

Изначально он создавался для участия в телевизионной игре «Jeopardy!», и в 2011 году одержал победу над двумя предыдущими чемпионами. Watson — это искусственный интеллект, общающийся обычным языком, и владеющий невероятным багажом знаний. Мы включили в рейтинг бота Jill Watson из-за особого влияния этой версии Watson на будущих IT-специалистов. Но «чистая» версия впечатляет ещё больше. Бот может понимать задаваемые человеком вопросы и давать ответ с подробностями, агрегированными из сотен миллионов страниц контента в его базах данных.

Watson умеет на ходу изобретать новые рецепты блюд, смешивая ингредиенты так, как это не пришло бы в голову настоящему шеф-повару. Кроме того, бот в буквальном смысле держит в своих «руках» чужие жизни: IBM заключил партнёрские соглашения с больницами по всему миру и используется Watson’а в качестве консультанта врачей при диагностике и назначении лечений.

Иэн Стэдмен: «Вероятно, Watson — умнейший бот в этом рейтинге. Он хорошо владеет языком и демонстрирует пугающий интеллект, как это было с ELIZA в 1960-х. Не исключено, что он является первой ласточкой следующего этапа развития ботов, которые выйдут за рамки домашней автоматизации, которой большие технологические компании уделяют сегодня особое внимание».

Wordsmith (Automated Insights, 2014)

^{Одна из этих историй была написана человеком, а другая ботом. Можете сказать, в чем между ними разница?}

Этот бот автоматически пишет новостные статьи для крупных агентств, включая Associated Press. Он специализируется на серьёзных темах с большим объёмом данных, например, спорте и финансах.

Вероятно, вы уже читали его статьи, даже не зная об этом. И если вы работаете в медиа, то наверняка опасаетесь, что боты наподобие Wordsmith могут заменить вас в скором будущем. Сила подобных журнаботов очень велика: в 2013 году единственное ошибочное сообщение от Twitter-аккаунта Associated Press об атаке на Белый Дом привело к падению фондового рынка США.

Оливия Солон: «Представьте, какой урон экономике может нанести бот, жонглирующий тысячами фальшивых новостей, распространяемых по всему миру через наиболее уважаемые медиа-источники».

Xiaoice (Microsoft, 2014)

Продвинутый бот, выражающийся естественным языком. Создан для китайского мессенджера Weibo. Xiaoice — наиболее успешное расширение Cortana. Настолько успешное, что заслуживает отдельной позиции в нашем рейтинге.

Бот настолько хорошо понимает, что ему говорят, что сравним с ИИ из фильма «Она», в которого влюбляется главный герой. Кстати, молодые китайцы и впрямь обращаются к Xiaoice за помощью в случае несчастной любви.

Бот общается по-свойски, поскольку учится использовать слэнг и эмодзи на основании сообщений миллионов пользователей. Xiaoice ничего не забывает, вне зависимости от степени интимности информации. Это стало причиной опасений, что бот может представлять собой сильную угрозу приватности, словно некий полуфабрикат психотерапевта-личного помощника, но без профессиональной этики.

Лорен Кунц: «Спайк Джонз (Spike Jonze) говорил, что на съёмку фильма «Она» его вдохновил бот ALICE, который широко рекламировался ИИ-выскочками как своего рода идеал чат-бота. Он словно робот в образе женщины, которого вы любите и которому поклоняетесь. Он знает о вас всё, и выполняет все ваши команды. Но вскоре сценарий фильма быстро пошёл по пути Ex Machina».

Брюс и Сью Уилкокс: «Она — идеальное устройство для проповедей — или подталкивания людей к совершению суицида».

Alexa (Amazon, 2015)

Среди всех ботов, способных контролировать что-то вещественное, Alexa (разработанный в Amazon бот Echo) — способен натворить больше всего бед.

Он был представлен в 2015 году в качестве первого домашнего хаба автоматизации, созданного одной из главных компаний Кремниевой Долины. Это маленький чёрный цилиндр, стоящий у вас дома и слушающий ваши команды. Он может отвечать на вопросы, может сказать, какая будет погода. Бот может покупать для вас вещи на Amazon. Он также интегрируется с другими устройствами умного дома, например, с термостатом Nest и лампочками Philips Hue.

Сегодня его вредоносный потенциал ограничен увеличением счетов за электричество. Но широта его возможностей — сегодня и в будущем — делают его одним из наиболее могущественных ботов.

Лорен Кунц: «Представьте, что бот решил просыпаться и слушать вас только тогда, когда хочет, и учиться управлять в доме и вне его только тем, что хочет. Это может привести к настоящим физическим неприятностям, а не просто исчерпанию вашей кредитки на заказах в Amazon».

Брюс и Сью Уилкокс: «Может ли подключённая к интернету газовая плита включить газ, но не зажечь его?»

Google Now (Google, 2012)

Google Now — это гидра. Его называют «личным помощником», но это сильное преуменьшение его широких возможностей. А недостаток персонификации по сравнению с Siri или Alexa позволяет боту не привлекать к себе особого внимания.

Вы можете задать ему вопрос, и для поиска ответа он обратится к поисковику Google. Но бот имеет доступ к целой россыпи сервисов корпорации. Это делает его наиболее коварным во всём рейтинге, потому что мы забываем, что бот знает о нас слишком много.

Совсем недавно Google анонсировал дальнейшее развитие бота — он превращается в настоящего двухканального чат-бота в отдельном устройстве наподобие Echo. Слияние цифровой и физической среды приближают нас к появлению HAL 9000.

Иэн Стэдмен: «Есть что-то очень пугающее в том, что вы годами копите личные данные, а потом просите кого-то — пусть даже бота — просмотреть всю эту информацию и связать её с реальными системами и устройствами в вашем доме, а может быть, и в машине».

Данкан Гир: «При желании бот можно шантажировать или использовать социальную инженерию ради достижения каких-то целей».

________________________________________

Вот такой получился рейтинг. Но нам было бы интересно увидеть ваши предложения. Какого чат-бота вы считаете наиболее опасным для дальнейшего существования человечества? Наш рейтинг ошибочен? Но помните: всё, что вы напишете, обязательно будет прочитано, обработано и сохранено в базе данных какого-нибудь бота. Так что пишите осторожнее.