Робопёс Sony Aibo научился бесшумно ходить и танцевать с помощью алгоритмов обучения с подкреплением

Робопёс Aibo от Sony, задуманный как компаньон для дома, виртуозно имитирует привычки настоящих собак: передвигается на четырёх лапах, откликается на собственное имя, забавляется с игрушками и откликается на прикосновения. Тем не менее, инженеры из ETH Zurich совместно с Sony Group Corporation пошли дальше, предложив два новых алгоритма обучения с подкреплением (reinforcement learning, RL), которые улучшают тишину движения робота и наделяют его способностями выразительного танца. Эти новшества открывают перспективу создания более «деликатных» и артистичных домашних роботов.

Многие пользователи отмечали шум, производимый Aibo при ходьбе. Чтобы решить эту задачу, команда под руководством Рё Ватанабэ создала RL-алгоритм, уменьшающий уровень шума шага, оптимизируя скорость соприкосновения лап с поверхностью в физическом симуляторе.

«Мы обучили систему активно подавлять вибрации и повышать жёсткость суставов с использованием данных с сенсоров на лапах. Дополнительно вводились штрафы за резкие, шумные движения», — объяснил Ватанабэ в интервью.

В ходе практических испытаний алгоритм сверили с традиционными RL-методами и фирменными контроллерами Sony. Выяснилось, что новая система снижает шумы на 30% – 50%, делая движения Aibo почти неслышимыми. «Наш метод заметно тише, чем стандартные решения Sony и классические RL-контроллеры», — отметил исследователь.

Дополнительно команда разработала модель Deep Fourier Mimic (DFM), объединяющую RL с анализом движений для воплощения сложных танцевальных композиций. «Создание артистичных движений для роботов обычно требует ручной работы и ограничено простым повторением заранее прописанных движений, — подчеркнул Ватанабэ. — DFM позволяет роботу выполнять танцевальные движения, выполняя другие задачи, такие как перемещение по пространству».

Из испытаний следует, что DFM обеспечивает гармоничные переходы между движениями, превращая танец Aibo в более живой и интерактивный. Робот способен не только следовать заранее установленным образцам, но и адаптироваться к движениям окружающих, создавая импровизированные «дуэты».

Эти методики могут быть интегрированы в новые модели Aibo и адаптированы для иных домашних роботов или развлекательных систем в парках аттракционов. Однако перед этим необходимо устранить некоторые проблемы. Например, текущая версия алгоритма ходьбы демонстрирует компромисс между шумностью и стабильностью: чем тише робопёс, тем выше риск потери равновесия. «Мы планируем использовать данные с камер и сенсоров, чтобы одновременно достигнуть тишины и надёжности», — поделился своими планами Ватанабэ.

Источник: iXBT