Система SonicSense обучает роботов воспринимать окружающий мир через звуковые вибрации
Источник: Duke University
Учёные из Университета Дьюка разработали новаторскую систему под названием SonicSense, которая позволяет роботам взаимодействовать с окружающей средой посредством звуковых вибраций. Это даёт роботам возможность «слышать» и «чувствовать» предметы, значительно расширяя их сенсорные возможности.
Система SonicSense представляет собой роботизированную руку, оснащённую четырьмя пальцами, каждый из которых снабжён контактным микрофоном. Эти сенсоры фиксируют и анализируют вибрации, которые возникают при касании, захвате или встряхивании объектов. Основываясь на полученных данных и собственном «опыте», SonicSense извлекает частотные характеристики и, с помощью алгоритма на базе искусственного интеллекта, определяет материал и трёхмерную форму объекта.
Цзяксунь Лю, автор исследования, отмечает, что «на сегодняшний день роботы в основном полагаются на зрение для интерпретации окружающей среды. Мы стремились создать решение, которое могло бы эффективно работать с разнообразными и сложными объектами, с которыми они сталкиваются ежедневно, даруя роботам более глубокое восприятие и понимание мира».
SonicSense обладает рядом способностей, включая определение количества и формы объектов, оценку объёма жидкости в контейнере и создание трёхмерной модели формы предмета. Например, вращая или тряся коробку с игральными костями, робот способен подсчитать их количество и определить форму. Проводя аналогичные манипуляции с бутылкой воды, он может оценить, сколько жидкости в ней содержится. А постукивая по внешней стороне предмета, как люди делают в темноте, робот может создать трёхмерную модель формы объекта и выяснить, из какого материала он состоит.
Профессор Боюань Чен утверждает, что «SonicSense обеспечивает роботам новый способ «слышать» и «чувствовать», аналогичный человеческому восприятию, что открывает новые грани взаимодействия с объектами. Зрение играет важную роль, но звук предоставляет дополнительные слои информации, которые могут выявить то, что остаётся незамеченным для глаз».
Кроме того, SonicSense способен идентифицировать объекты, состоящие из нескольких материалов со сложной геометрией, а также прозрачные или отражающие поверхности, которые вызывают трудности у систем визуального восприятия.
«Воссоздание таких сложных ситуаций в симуляциях сложно. Разрыв между управляемыми и реальными данными имеет важное значение, и SonicSense помогает его преодолеть, позволяя роботам напрямую взаимодействовать с разнообразными реальными физическими условиями», — подчеркнул Цзяксунь Лю.
SonicSense может стать надёжной платформой для обучения роботов восприятию объектов в динамичной и неструктурированной среде. Использование доступных на рынке компонентов позволяет удерживать стоимость сборки чуть выше $200.
В дальнейшем команда планирует усовершенствовать способность системы к работе с несколькими объектами и интеграцию алгоритмов отслеживания. Также продолжается разработка более сложных роботизированных рук, обладающих продвинутыми манипулятивными навыками.
Источник: iXBT
Flipper One появился на Kickstarter
НАТО запускает Starlift: военные спутники будут выводить на орбиту коммерческие ракеты по всему миру
Xiaomi 18 Pro и 18 Pro Max появятся в России с двумя экранами, камерами Leica на 200 Мп и батареей до 7050 мАч
Дорогая память и сложности с экранами: как ИИ влияет на стоимость электроники
Ремейк The Legend of Zelda: Ocarina of Time установил новый рекорд и стал самой продаваемой игрой года на физических носителях в США
Apple сдалась последней: компания заключает с Samsung долгосрочный контракт на поставку памяти DRAM
Intel показала, как ускоритель D270 может превзойти Nvidia RTX Pro 6000 Blackwell в 6 раз при почти вдвое меньшем TDP
Google приступила к отключению Gems в личных аккаунтах Gemini