Алгоритм OpenAI позволяет обучить робота действию за одну демонстрацию

Некоммерческая исследовательская организация OpenAI, финансируемая Элоном Маском (Elon Musk), объявила о новом достижении в сфере развития роботов. Она создала алгоритм, который позволяет человеку обучать искусственный интеллект действиям, выполняя их в виртуальной реальности. Здесь используется метод одноразового имитационного обучения, который позволяет роботу повторять физическое действие, используя один-единственный пример.

OpenAI попыталась научить роботизированную руку складывать набор разноцветных кубиков. Человек в VR-шлеме проделывал необходимые действия в виртуальном окружении. После этого их изучала нейронная сеть, натренированная на основе сотен тысяч искусственно созданных изображений.

Поскольку сбор реальных изображений — дорого, трудно и долго, исследователи использовали искусственные картинки. OpenAI «скормила» алгоритму виртуальные образы стола и кубиков с различными фонами, эффектами освещения и текстурами. Так искусственный интеллект понимал сцену, не видев её раньше.

После этого алгоритм брал информацию из нейронной сети и отправлял её в другую, имитационную сеть. Она определяет намерения действия и повторяет его, предсказывая то, что сделал бы человек в данной ситуации. Сложность заключается в том, что расположение и цвет кубиков менялись каждый раз. Но программному обеспечению всё равно удавалось построить три столбика — каждый из двух кубов.

Роботу ни разу не показали видео или фото с реальными примерами действий. «Наш робот научился выполнять задачу, несмотря на то, что движения должны отличаться от показанных в демонстрации, — объяснил Джош Тобин (Josh Tobin), член команды OpenAI. — С помощью одной демонстрации задачи мы можем воспроизвести её в целом ряде различных начальных условий. Чтобы обучить робота, как построить другую последовательность блоков, нужна только одна дополнительная демонстрация».

Долгосрочная цель исследователей — дать искусственному интеллекту возможность быстро учиться новым действиям и адаптироваться к непредсказуемым изменениям в окружении. «Младенцы рождаются со способностью подражать тому, что делают другие люди, — говорит Тобин. — Подражание позволяет людям быстро обучаться новым действиям. Мы бы хотели, чтобы так могли обучаться и наши роботы».