ИИ Microsoft достиг максимального счёта в Ms. Pac-Man

Спустя более чем 30 лет после выхода Ms. Pac-Man в классической аркаде был установлен максимальный счёт — правда, не человеком, а искусственным интеллектом. Команда Maluuba, купленная Microsoft в январе, разработала систему, которая смогла достичь рекордных 999 тысяч очков на приставке Atari 2600. Для этого исследователи использовали комбинацию так называемого обучения с подкреплением и парадигмы разработки алгоритмов «Разделяй и властвуй».

Искусственный интеллект достиг мастерства во многих ретро-играх, но Ms. Pac-Man до недавнего времени был компьютерам не по зубам. Всё из-за того, что игра абсолютно непредсказуема. Даже человеку удалось добраться до отметки лишь в 266 330 очков в версии для Atari 2600.

ИИ смог добиться максимального счёта в игре благодаря распределению обязанностей между 150 агентами. Команда научила искусственный интеллект использовать специальную архитектуру Hybrid Reward Architecture, представляющую собой упомянутую комбинацию обучения с подкреплением и парадигмы «Разделяй и властвуй».

Разные агенты получили мелкие задачи вроде поиска отдельных гранул. Вместе они работали над достижением более серьёзных целей. Maluuba затем назначила главного агента, которого Microsoft сравнила со старшим менеджером в компании. Он принимал от других агентов рекомендации и решал, куда двигаться персонажу.

Наилучшего результата удалось достичь, когда отдельные агенты «действовали очень эгоистично», а главный фокусировался на том, что наиболее важно для всей команды. Он учитывал, сколько агентов хотят пойти в определённую сторону, и определял важность направлений. К примеру, приоритетное внимание «глава» уделял меньшему числу агентов, которые хотят избежать столкновения с призраком, а не большей группе, намеревающейся съесть гранулу.

По словам Maluuba, у Hybrid Reward Architecture есть множество вариантов применения. Например, ИИ можно использовать для прогнозирования продаж компаний или развития технологий обработки естественного языка.