Популярные видеоигры превратились в площадки для экспериментов с ИИ.
Китайские исследователи недавно опубликовали итоги экспериментов с искусственным интеллектом. Их проект, основанный на модели Qwen2, получил название «Lumine»:
Lumine — первый открытый подход к созданию универсальных агентов (generalist agents), способных реализовывать многочасовые комплексные миссии в режиме реального времени в богатых трёхмерных пространствах открытого мира. Система опирается на парадигму взаимодействия, схожую с человеческой, которая интегрирует восприятие, рассуждение и действие через визуально-языковую модель.
Lumine обучали на специализированном корпусе данных: изначально использовалось более 2400 часов записей. После фильтрации и предобработки сохранилось около 200 высококачественных образцов и 15 часов вручную размеченных примеров рассуждений, которые способствовали формированию гибридного типа мышления модели.
Авторы отмечают, что Lumine успешно прошёл пятиичасовую кампанию в Мондштадте (Genshin Impact), а также показал положительные результаты и в других проектах:
Без дополнительной тонкой настройки модель справляется с заданиями в Wuthering Waves и проходит полноценную пятичасовую первую главу Honkai: Star Rail. Эти обнадеживающие результаты подчёркивают применимость Lumine в различных игровых мирах и сценариях взаимодействия, что является важным шагом к созданию универсальных агентов для открытых игровых сред.
Источник: iXBT.games