Бот OpenAI победил трёх топовых профессионалов в Dota 2 / Geektimes

Вчера в чемпионате Dota 2 International в Сиэтле бот, созданный организацией OpenAI, победил одного из лучших в мире игроков в Dota 2 Данила Ишутина, известного профессиональных кругах под ником Dendi ($735 449 призовых в карьере). 27-летний украинец сдался в середине второй игры.

По правилам матча один на один победителем в каждой игре считался игрок, который совершит два убийства или уничтожит башню противника. В первой игре OpenAI доминировал и победил менее чем за 10 минут, а Ишутин как будто поразился возможностям бота. В начале второй игры бот сделал убийство, и вскоре Dendi прекратил игру, признав поражение. «Эта штука пугает», — сказал Dendi перед огромной толпой зрителей. Илон Маск ликовал.

Таким образом, бот OpenAI остался непобедимым в противостоянии лучшим в мире игрокам в Dota 2. Ранее он отпраздновал победу над Артуром ‘Arteezy’ Бабаевым (№ 1 в общем рейтинге) и Сайедом ‘Suma1L’ Хасаном (№ 1 в рейтинге 1v1).

Dendi против бота OpenAI

Dota 2 — сложная игра со скрытой информацией, где игрокам приходится планировать действия, атаковать, хитрить и обманывать противника. Здесь нет явной корреляции между способностями игрока и количеством действий в минуту, хотя у бота показатель количеством действий в минуту примерно такой же, как у людей. Тем не менее, игроки отмечают, что бот получил преимущество за счёт более быстрой ракции и исключительно точных перемещений, по сравнению с живым человеком, который щёлкает мышкой.

Сотрудник обслуживающего персонала чемпионата The International поднял руку с USB-флешкой, на которой записан бот. Профессионал Dendi стоит на дальнем плане, ожидая начала схватки. Фото: OpenAI via YouTube

«То, что мы здесь показали, называется общей системой обучения, — объясняет Грег Брокман (Greg Brockman), сооснователь и технический директор OpenAI. — Она всё ещё имеет ряд ограничений, но уже способна побеждать лучших профессионалов в Dota. Это шаг к построению более общих систем, которые могут обучаться более сложным, запутанным и важным задачам реального мира, таким как профессия хирурга».

Бот OpenAI обучился играть в Dota 2, проведя большое количество игровых сессий против самого себя. Обучение заняло две недели. За это время был пройден путь от случайных беспорядочных действий в игре к навыкам, достаточным для победы над лучшими профессионалами. Разработчики не закладывали в программу никаких стратегий, не использовали помощь экспертов. Бот просто начал с нуля и играл сам с собой, шаг за шагом делая маленькие улучшения в игре, пока не достиг профессионального уровня.

Впрочем, в нынешнем состоянии вряд ли бот сможет составить конкуренцию в большой игре, где обычно играют команды по пять игроков. Всё-таки матчи один на один — это упрощённая версия Dota, а вот в командных играх гораздо больше различных стратегий и специфических приёмов. В официальном блоге организация OpenAI заявила, что создание группы ботов для игры против команды людей — это следующая цель.

Для OpenAI это определённое достижение. Эту некоммерческую организацию основали в декабре 2015 года известные предприниматели Илон Маск и Сэм Альтман, исполнительный директор инкубатора стартапов Y Combinator. Среди спонсоров — ряд влиятельных деятелей Кремниевой долины, в том числе бизнесмены Питер Тиль и Джессика Ливингстон. Организация ставит целью создание безопасного (то есть общедоступного и открытого) Искусственного Интеллекта.

В декабре 2016 года OpenAI представила связующее программное обеспечение Universe для тренировки и обучения сильного ИИ. Теоретически, обучение может происходить на всей информации человечества, доступной через интернет. Это игры, веб-сайты и прочие приложения.

OpenAI считает, что обучение с подкреплением — важный способ машинного обучения, который позволит в значительной степени усовершенствовать ИИ. В процессе обучения таким методом испытуемая система (агент) обучается, взаимодействуя с некоторой средой. В отличие от традиционного обучения с учителем, откликом на принятые решения ИИ являются сигналы подкрепления, при этом некоторые правила подкрепления формируются динамически и труднодоступны пониманию человека, то есть базируются на одновременной активности формальных нейронов.

«Наша конечная цель состоит в разработке единого интеллектуального агента, который способен гибко применять опыт, накопленный в Universe, для решения новых задач и быстрого получения нового опыта, что станет важным шагом на пути к сильному ИИ», — говорилось тогда в заявлении OpenAI.

Сейчас разработками ИИ занимаются коммерческие корпорации, такие как Google, Facebook и Microsoft. Разумеется, они ставят свою финансовую выгоду выше интересов человечества. Соответствующим образом будут действовать созданные ими ИИ. Некоммерческая организация OpenAI с open-source альтернативой ИИ пытается противостоять корпорациям. Все исследования в рамках института OpenAI публикуются в открытом доступе. В официальном объявлении об основании организации сказано: «В связи с непредсказуемой историей ИИ, сложно предугадать, когда может появиться ИИ человеческого уровня. Когда это произойдёт, важно будет иметь в распоряжении человечества ведущий исследовательский институт, который способен поставить приоритетом выигрыш для всех над своими собственными интересами».