Робот распознаёт нужный сорт пива среди 20-ти образцов
Один из участников конкурса ИИ-систем Nvidia Jetson Challenge нашёл неординарное применение системе Искусственного Интеллекта. В то время как другие участники пытались применить машинное зрение в системах здравоохранения, безопасности, промышленных системах IoT и инновационных решениях робототехники, немецкие разработчики научили своего робота PAL Robotics TIAGo… приносить пиво из холодильника!
Свободный робот TIAGo («свободный» не в смысле свободы воли, а в смысле открытого программного обеспечения и опубликованного дизайна некоторых комплектующих для самостоятельного изготовления и сборки) от испанской компании PAL Robotics — это сервисный робот, предназначенный для обслуживания людей внутри помещений. Программное обеспечение создано на стандартном открытом фреймворке Robot Operating System (ROS), так что эта модель идеальна для различных исследований и экспериментов в области робототехники.
Для TIAGo доступна подробная документация, в том числе инструкции по работе OpenCV, PCL, автономной навигации, MoveIt! и системы взаимодействия с людьми. Есть готовый симулятор Gazebo для быстрого тестирования алгоритмов, проектирования робота, регрессионного тестирования и обучения систем машинного зрения на реалистичных сценариях.
Группа немецких студентов-программистов — Рафаэль Мемесхаймер (тим-лидер), Лукас Буххольд (семантическая сегментация) и Иванна Михальчишина (манипулирование) — подключили к роботу TIAGo модульный компьютер Nvidia Jetson TX2, специально сконструированный для обсчёта задач ИИ, в том числе машинного зрения.
Nvidia Jetson TX2. Фото: Nvidia
Jetson TX2 — энергоэффективный встроенный модуль для быстрых ИИ-вычислений, построенный на архитектуре Pascal. Благодаря миниатюрному форм-фактору, низкому энергопотреблению 7,5 Вт он отлично подходит для роботов, дронов, мультикоптеров, умных камер и портативных медицинских устройств, считает производитель. Модуль оборудован 8 ГБ оперативной памяти, с пропускной способностью шины памяти 59,7 ГБ/с. Для справки, вот технические характеристики Jetson TX2, а также более дешёвого модуля Jetson TX1 прошлого поколения на архитектуре Maxwell.
| Jetson TX2 | Jetson TX1 | |
|---|---|---|
| GPU | NVIDIA Pascal, 256 ядер CUDA | NVIDIA Maxwell, 256 ядер CUDA |
| CPU | HMP Dual Denver 2/2 MB L2 + Quad ARM A57/2 MB L2 |
Quad ARM A57/2 MB L2 |
| Видео | 4K x 2K 60 Гц кодирование (HEVC) 4K x 2K 60 Гц декодирование (12 бит) |
4K x 2K 30 Гц (HEVC) 4K x 2K 60 Гц декодирование (10 бит) |
| Память | 8 ГБ 128 бит LPDDR4 59.7 GB/s |
4 ГБ 64 бит LPDDR4 25.6 GB/s |
| Дисплей | 2x DSI, 2x DP 1.2 / HDMI 2.0 / eDP 1.4 | 2x DSI, 1x eDP 1.4 / DP 1.2 / HDMI |
| CSI | До 6 камер (две линии) CSI2 D-PHY 1.2 (2,5 Гбита/с на линию) |
До 6 камер (две линии) CSI2 D-PHY 1.1 (1,5 Гбита/с на линию) |
| PCIE | Gen 2 | 1×4 + 1×1 OR 2×1 + 1×2 | Gen 2 | 1×4 + 1×1 |
| Накопитель | 32 ГБ eMMC, SDIO, SATA | 16 ГБ eMMC, SDIO, SATA |
| Другое | CAN, UART, SPI, I2C, I2S, GPIOs | UART, SPI, I2C, I2S, GPIOs |
| USB | USB 3.0 + USB 2.0 | |
| Связь | 1 Gigabit Ethernet, 802.11ac WLAN, Bluetooth | |
| Размеры и механика | 50×87 мм (400-пиновый коннектор для соединения плат) | |
Эти игрушки стоят $499 и $344, а в комплекте с dev-китом ещё дороже (для учебных заведений США и Канады скидка в размере $300).
Так вот, на базе робота TIAGo и модуля Jetson TX2 немецкие студенты разработали программу автономного управления, которая находит путь к холодильнику, открывает дверцу,
распознаёт пиво с помощью нейросети семантической сегментации HomeNet (исходный код),
захватывает его манипулятором,
закрывает дверцу
и везёт пиво хозяйке.
Теперь студенты всерьёз рассчитывают получить один из призов на конкурсе — $10 000, видеокарту NVIDIA TITAN Xp, набор разработчика Jetson TX2 или бесплатный курс в Институте глубинного обучения (Deep Learning Institute). Финалистам конкурса также оплатят билеты на GTC 2018 (GPU Technology Conference) — конференцию по GPU-инновациям и Искусственному Интеллекту, которая пройдёт 25-29 марта в Калифорнии.
Источник
