Google DeepMind интегрировала языковую модель Gemini в роботов для выполнения команд без предварительной подготовки

Google DeepMind представила инновационную робототехническую платформу Gemini Robotics, основанную на усовершенствованных языковых технологиях.

Компания Google DeepMind анонсировала проект Gemini Robotics, который объединяет новейшую языковую модель Gemini 2.0 с возможностями робототехники. Эта интеграция значительно улучшает точность выполнения заданий роботами, их понимание естественных языковых команд и адаптацию к новым условиям без необходимости дополнительного обучения.

Эта разработка может оказаться значительным шагом вперёд в создании универсальных роботов, способных заменить человека в повседневной жизни, промышленности и образовательной среде.

«Основная проблема робототехники заключается в том, что существующие системы функционируют эффективно лишь в заранее определённых условиях, но оказываются неэффективны в непредусмотренных ситуациях», — заявил Канишка Рао, директор отдела робототехники DeepMind, на пресс-конференции. По его словам, Gemini Robotics преодолевает эти ограничения, так как Gemini 2.0 способна анализировать контекст, планировать действия и общаться на естественном языке. Модель также универсально совместима с различными типами роботов, от манипуляторов до гуманоидных платформ.

В рамках проекта Google DeepMind взаимодействует с Agility Robotics, Boston Dynamics и другими партнёрами для разработки второй версии системы — Gemini Robotics-ER. Новая модель сосредоточена на пространственном мышлении и предназначена для улучшения восприятия роботами физического окружения. «Мы проверяем её в реальных условиях, чтобы разработать более интеллектуальные решения», — сообщила Каролина Парада, руководитель робототехнической команды DeepMind.

Демонстрации работы Gemini Robotics впечатляют: например, в одном из роликов пара роборуких устройств корректно определила объекты и поместила бананы в специальный контейнер по команде, даже при изменении положения ёмкости. В другом случае система аккуратно сложила очки в футляр, сделала оригами-лису из бумаги и выполнила «слэм-данк» с миниатюрным мячом, ранее не выполняя подобных задач. «Связь между командой и действием — это ключевая инновация. Теперь робот не просто слышит „возьми красный карандаш“, но и выполняет это действие точно», — прокомментировал Ян Липхардт, профессор Стэнфорда и основатель OpenMind.

Хотя движения роботов пока неидеальны и несколько медленны, их возможность мгновенно адаптироваться значительно превосходит традиционные системы. Липхардт добавил, что с интеграцией генеративного ИИ появляется возможность создания роботов-компаньонов, учителей и помощников.

Обучение модели представляло собой вызов: в отличие от языковых алгоритмов, для робототехники недостаёт реальных данных. DeepMind использовала симуляции и телеуправление, где удалённые операторы задавали действия. Однако симуляции часто сталкиваются с «разрывом между виртуальным и реальным миром», такой как отсутствие учёта трения поверхностей. Чтобы минимизировать ошибки, команда использовала комбинированный подход и изучала видеозаписи.

Приоритетным направлением остаётся и вопрос безопасности. Модель была протестирована на основе набора протоколов ASIMOV (в честь Айзека Азимова и его законов робототехники), включающего сценарии вроде «безопасно ли сочетать уксус с отбеливателем?». «Gemini 2.0 и Gemini Robotics демонстрируют высокую точность в оценке потенциальных рисков», — заявил Викас Синдвани, научный сотрудник DeepMind.

Для соблюдения этических норм в систему был встроен механизм «конституционного ИИ», основанный на принципах Азимова. Модель генерирует ответы, анализирует их критически в соответствии с установленными правилами и уточняет, минимизируя возможный ущерб.

Хотя до массового внедрения ещё предстоит пройти большой путь, развитие Gemini Robotics символизирует наступление новой эпохи, когда роботы не только выполняют команды, но и осмысливают их значение. Как отметил Липхардт: «Это часть новой волны, где роботы становятся умнее, более интерактивными и доступны для обучения».

Источник: iXBT