Объемное зрение без слепых зон: новый алгоритм для роботов и беспилотного транспорта

Команда исследователей из МФТИ совместно с зарубежными коллегами представила инновационную систему компьютерного зрения Un-ViTAStereo. Технология наделяет роботов и автономный транспорт способностью воспринимать пространство в трех измерениях, полностью ликвидируя «слепые зоны». Как подчеркнули в пресс-службе института, алгоритм с высокой точностью вычисляет дистанцию до объектов, не требуя при этом дорогостоящих лидаров или трудоемкой ручной разметки данных, что делает решение экономически выгодным и универсальным.

Сгенерировано нейросетью Grok

В основу обучения Un-ViTAStereo легла модель Depth Anything V2, способная оценивать относительную глубину сцены по плоским изображениям, анализируя игру теней, законы перспективы и взаимное перекрытие объектов. Это позволяет системе фильтровать предсказания, оставляя лишь те, что согласуются с верифицированными данными «модели-наставника», тем самым минимизируя вероятность погрешностей.

Функционирование системы разделено на три ключевых этапа: попиксельную проверку на соответствие эталонным подсказкам, поиск ближайших корректных значений для уточнения проблемных зон и финальную отрисовку контуров с применением механизмов сглаживания диспаратности. В ходе испытаний на специализированном датасете для беспилотников KITTI 2015 доля критических промахов снизилась до 5%, что позволило сократить количество опасных ошибок при замере расстояний на 23%.

В МФТИ отмечают, что текущая реализация Un-ViTAStereo — это лишь стартовая площадка. Ученые нацелены на создание самообучающихся нейросетей, способных мгновенно адаптироваться к любым условиям окружающей среды, а также планируют интегрировать точные замеры лидаров для достижения безупречных результатов. Данная разработка открывает новые горизонты в обеспечении безопасности беспилотных систем. Результаты исследования опубликованы в престижном научном издании IEEE Transactions on Circuits and Systems for Video Technology.

Источник: iXBT