Microsoft анонсировала Magma — ИИ-систему для автономного управления роботами и интерфейсами

Корпорация Microsoft анонсировала инновационную модель искусственного интеллекта под названием Magma, способную одновременно анализировать визуальные и текстовые данные, а также управлять физическими объектами. Этот проект был разработан в рамках сотрудничества исследователей из Microsoft, KAIST, Университета Мэриленда, Университета Висконсин-Мэдисон и Университета Вашингтона.

В отличие от уже существующих решений, таких как PALM-E и RT-2 от Google или ChatGPT for Robotics от Microsoft, которые применяют отдельные модули для восприятия и управления, Magma интегрирует эти возможности в единую систему. Данная платформа может не только обрабатывать мультимодальные данные, но и принимать автономные решения на их основе, такие как взаимодействие с пользовательскими интерфейсами или управление физическими устройствами.

Модель базируется на двух основных элементах. Первый, Set-of-Mark, отвечает за идентификацию объектов для взаимодействия, маркируя интерактивные элементы. Другой элемент, Trace-of-Mark, анализирует траектории и движения на основе видеозаписей. Благодаря этому Magma может выполнять задачи, такие как навигация по интерфейсам и управление роботизированными манипуляторами.

Microsoft сообщает, что Magma-8B продемонстрировала впечатляющие результаты в тестовых сценариях. В частности, система получила 80,0 баллов в тесте VQAv2 (Visual Question Answering), который измеряет способность отвечать на вопросы, касающиеся изображений, указывая на глубокое понимание визуальных данных. В тесте POPE (Popular Object in Common Environment), проверяющем умение модели точно идентифицировать распространённые объекты на изображениях, Magma набрала 87,4 балла, став лидером среди аналогичных систем. Эти результаты указывают на превосходное визуальное восприятие и анализ, превышая возможности GPT-4V (77,2 балла в VQAv2); хотя все же, в некоторых тестах, Magma уступает другим решениям, например, LLaVA-Next (81,8 балла в VQAv2).

Ведущий исследователь проекта, Цзяньвэй Ян, уточнил, что название Magma расшифровывается как M(ultimodal) Ag(entic) M(odel) at Microsoft (Rese)A(rch).

Microsoft планирует разместить код Magma на GitHub, чтобы дать возможность исследователям продолжить развитие этой технологии. Хотя результаты обнадёживающие, у системы остаются ограничения в сложных, многоступенчатых процессах принятия решений, требующие дальнейших доработок.

Выход Magma свидетельствует о стремительном прогрессе в развитии моделей искусственного интеллекта, и на сегодняшний день это направление остаётся стандартным и, как правило, не встречает призывов к остановке разработки в ИИ.

Источник: iXBT