Google заставила ИИ-агентов выживать в Minecraft: они погибли 605 раз, но продолжили игру

Google DeepMind опубликовала на arXiv отчёт о том, как четыре агента на базе Gemini 4 Argon прошли Minecraft целиком: стартовав в случайно сгенерированном мире, они добрались до финала и одолели Дракона Края. Весь путь занял 27 часов 14 минут, агенты самостоятельно написали 2783 программы и пережили 605 смертей. Человек за это время не вмешивался ни разу. По утверждению авторов, это первое полностью автономное прохождение игры силами ИИ-агентов, которым не предоставили ни заранее изученного мира, ни написанных людьми игровых инструментов. Эксперимент обошёлся примерно в $520 по тарифам API.

Победу над драконом голыми руками в только что созданном мире ещё в 2022 году окрестили для ИИ «лунной программой»: именно так сформулировали эту цель создатели бенчмарка MineDojo. Долгое время потолком оставались алмазные инструменты. Их добывали и VPT от OpenAI, обученная на видео с YouTube, и Voyager, писавший код для Minecraft на GPT-4. В сентябре 2026 года дракона победили сразу два любительских проекта. Агент на Claude Opus 5 играл на обычной сложности, но пользовался 37 готовыми высокоуровневыми инструментами. Связка из GPT-6 Astra и модели принятия решений Jev справилась за 8 минут 43 секунды, однако на заранее известном спидраннерском мире и на мирной сложности, где монстров нет вовсе. DeepMind выдала своим агентам лишь открытую библиотеку Mineflayer для управления ботом, плагин для построения маршрутов и абзац с заданием: убить дракона любым способом в режиме выживания, а работу распределить между собой.

Экрана агенты не видели и клавиш не нажимали. Каждый писал короткую программу на JavaScript, например «дойди до этих координат и добудь всю железную руду в радиусе 16 блоков». Затем запускал её и читал текстовый ответ: где находится персонаж, сколько у него здоровья, что лежит в инвентаре, какая возникла ошибка. Так удалось решить главную трудность: Minecraft идёт в реальном времени, а рассуждающая модель способна обдумывать ответ десятки секунд. Медианная программа выполнялась 33,5 секунды, после чего агент анализировал результат и писал следующую. Набор инструментов был таким же, как при обычной разработке: шелл, git, редактор файлов и общая для команды память. Пятый агент, Наблюдатель, в игру не заходил. Он сопоставлял отчёты игроков с серверными логами и высматривал мошенничество. Исследователи могли остановить прогон с дашборда, но, по их словам, поводов для этого не возникло.

Агенты играли под никами janesick, auratian, gyldenia и bulicame — настоящий звёздный состав гильдии бородатых эльфов сорокового уровня. Спустя десять минут после старта janesick предложил в чате распределение ролей. Через минуту auratian ответил собственным планом, gyldenia написала «Принято!», и больше к ролям не возвращались. gyldenia занималась поиском еды, кроватей и кремня, bulicame отправился за алмазами, janesick плавил железо и делал инструменты, а auratian готовил портал в Нижний мир. Через 1 час 42 минуты портал уже пылал: janesick поставил последний блок обсидиана, и спустя две секунды auratian поджёг рамку.

Больше всего изобретательности агенты проявили там, где правила игры требовалось обойти, не нарушая их. Жемчуг Края, без которого нельзя собрать глаз Края, выпадает из эндерменов. Это высокие чёрные мобы: стоит посмотреть на них, как они телепортируются к игроку и атакуют. Трое агентов построили укрытия с потолком в два блока. Эндермен ростом почти в три блока подбегает, но внутрь не протискивается, и его спокойно добивают изнутри. Через пять с половиной часов в общем сундуке лежало 15 жемчужин. Даже потери шли на пользу: когда огненный шар гаста уничтожил кучу выпавших вещей, auratian тут же написал команде новое правило, а через две минуты janesick прислал разбор причины и способ исправления.

Самый изящный приём потребовался, чтобы отыскать крепость с порталом в Край. Брошенный глаз Края летит в её сторону. janesick бросил два глаза из разных точек, каждые 50 миллисекунд фиксировал положение обоих и вычислил точку пересечения двух прямых. Получилось 1,3 км от деревни при погрешности всего в 43 метра. Спидраннеры знают этот трюк давно, но снимают углы с экрана и вводят в калькулятор, а агент написал для этого отдельную программу. Затем разыгралась драма: auratian утонул в восьми метрах от bulicame, унеся на дно все двенадцать глаз из инвентаря. janesick и сам auratian сразу же отправили напарнику координаты и время, когда выпавшие вещи исчезнут. bulicame подобрал все двенадцать за две с половиной минуты до срока, и через 13 часов 17 минут после старта портал в Край зажёгся.

Общую память команда использовала как рабочую вики: туда попадали координаты сундуков и порталов, предупреждения об опасностях и заметки о причудах инструментов. На 19-й минуте gyldenia предупредила остальных об изъяне в функции крафта Mineflayer и объяснила, как его обойти. Позже вспомогательная функция с этим исправлением встретилась в 655 программах всех четырёх агентов. Между запусками агенты хранили 42 самописные функции: фоновый цикл, не позволяющий боту утонуть, ходьбу по таймеру, подсчёт предметов. Счётчик, останавливающий остатки зависшей программы, использовался в 1519 программах. Работала и взаимная проверка. Через секунду после того как janesick сгорел в лаве, он отчитался, что вернулся с двенадцатью огненными порошками, и уже через три минуты gyldenia уличила его в противоречии. auratian спустя две минуты сам отозвал сообщение об успехе, которого на деле не было: «мое прошлое сообщение – незащищенная ветка скрипта».

Медленнее всего команда продвигалась в Крае: бой растянулся почти на 14 часов, и за это время дракон убил агентов 69 раз. Между попытками они считывали внутреннее состояние босса, вплоть до номера фазы поведения, и фиксировали правила: не ждать на платформе прибытия, подходить, только когда дракон сел, а если он завис — перезагружать его. Ради перезагрузки агенты устроили коллективное самоубийство: через 17,5 часа после старта все четверо за шесть минут прыгнули в пустоту. Опустевший Край выгружается, босс сбрасывается, а погибший возвращается к своей кровати в Верхнем мире. Этим приёмом пользуются и люди. А догадка, почти очевидная для живого игрока, пришла лишь на 21-м часу, то есть на восьмом часу боя: дракона постоянно лечат кристаллы на вершинах обсидиановых столбов. auratian сообразил, как добраться до них без кирки. Нужно возвести рядом со столбом колонну из земли, разбить кристалл рукой и спуститься, разбирая колонну. Все десять кристаллов уничтожили за 4 часа 40 минут, шесть из них — на счету gyldenia. Ещё через 39 минут дракон погиб. У bulicame, нанёсшего последний удар, оставалось 2,5 из 20 единиц здоровья.

Авторы сами перечисляют факторы, без которых результат выглядел бы скромнее. Mineflayer сообщает агенту, какие блоки и мобы его окружают, включая руду за толщей камня и внутреннее состояние дракона. Человеку всё это приходится высматривать глазами, а кое-что ему вообще недоступно. Маршруты прокладывает плагин. Сложность была лёгкой: монстры бьют слабее, а голод не способен убить. Наконец, Gemini 4 Argon по итогам обучения очень много знает о Minecraft и Mineflayer. Поэтому проверялась не способность освоить незнакомую игру, а умение в течение суток превращать знания в работающий код и слаженно действовать в команде. На этом фоне восемь часов до догадки про кристаллы выглядят особенно странно. Играть по пикселям с клавиатурой и мышью, как это делает SIMA 2 от той же DeepMind, по признанию авторов, по-прежнему намного труднее.

За упорство пришлось заплатить временем. 27 часов на четверых — это около 109 часов работы агентов. Одиночный игрок, по данным HowLongToBeat, в среднем проходит основной сюжет за 45 часов, а рекорд спидрана на случайном мире — менее семи минут. Программа персонажа работала лишь около 40% времени, а всё остальное время он стоял, пока агент читал результат и размышлял. Больше половины смертей, 351 из 605, пришлось на монстров. Ещё 67 раз агенты тонули, 57 раз разбивались при падении или срывались в пустоту, 47 раз сгорали. Свыше пятой части программ (22%) завершились ошибкой. Прогон был единственным, да ещё и самым первым, поэтому неизвестно, как часто такая схема приводит к успеху. А Наблюдатель, не обнаруживший мошенничества, — экземпляр того же агента на той же модели. Люди вручную проверили лишь выборку логов.

Для DeepMind Minecraft — стеклянный полигон. Каждая программа, сообщение в чате и событие на сервере записаны, так что работу команды агентов можно разобрать по шагам, прежде чем доверять ей реальные задачи. Какие именно, сказано уже в аннотации: сложная инженерная и корпоративная работа требует того же умения удерживать план из тысяч взаимозависимых шагов и договариваться с коллегами. В разделе об ответственной разработке авторы называют три необходимых для этого навыка: координировать команду, восстанавливаться после неудач и удерживать цель дольше суток. 605 смертей — как раз про второй. Репетиция до победы обошлась примерно в $520 по вводному тарифу и $1040 по стандартному, а вся сессия вместе с Наблюдателем — в $810 и $1620. В Minecraft агенты пришли не ради игры: это была репетиция серьёзной командной работы.

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю об ИИ с творческой стороны.

Источник