Apple сочетает данные людей и роботов для обучения нейросетей, применяя AR-гарнитуры вместо дорогостоящего оборудования

Компания Apple внедрила инновационный метод обучения человекоподобных роботов, совмещающий человеческие и машинные данные. Этот подход, именуемый PH2D, подробно описан в исследовании «Humanoid Policy ~ Human Policy», обнародованном спустя неделю после выпуска моделей искусственного интеллекта Matrix3D и StreamBridge.

Исследователи подчёркивают недостатки традиционных методов, где обучение роботов опирается исключительно на их собственные демонстрации. Такие методы требуют дорогостоящих средств управления и трудно масштабируемы. PH2D решает эту проблему, интегрируя человеческие данные, что существенно снижает затраты.

Для сбора информации использовались модифицированные потребительские устройства. Гарнитура Apple Vision Pro применялась частично: была задействована лишь нижняя левая камера для визуального наблюдения, а ARKit фиксировал движения. Альтернативно использовалась Meta* Quest с камерами ZED Mini. Участники эксперимента, пользуясь этими гарнитурами, выполняли задачи, например, захват предметов, поднятие объектов и переливание жидкостей, сопровождая процесс голосовыми командами. Видеозаписи замедлялись для повышения эффективности обучения.

Систему обработки разнородных данных обеспечивает модель HAT (Human-humanoid Action Transformer). Она синтезирует два источника данных в единой системе управления, что, согласно исследованиям, улучшает адаптацию алгоритмов к новым условиям. Например, роботы, обученные методом PH2D, на 15% лучше справлялись с вертикальным захватом объектов по сравнению с обученными лишь на данных других роботов.

Основное преимущество PH2D заключается в его экономичности. Использование доступных гарнитур вместо специализированного оборудования позволяет существенно снизить затраты. Это особенно актуально для Apple, которая, согласно патентам и инсайдерской информации, разрабатывает роботов для бытового использования. Ранее компания представила прототип робота-лампы, а теперь, по слухам, тестирует мобильного домашнего помощника. Внедрение PH2D ускорит создание таких продуктов, однако точные сроки их появления на рынке пока неизвестны — по состоянию на май 2025 года официальных заявлений не поступало.

* Компания Meta (владельцы Facebook и Instagram) признана экстремистской и запрещена в России

Источник: iXBT