Специалисты лаборатории искусственного интеллекта Сбербанка разработали инновационный метод для распознавания эмоций в реальном времени. Они продемонстрировали, как сочетание визуальных, акустических и текстовых данных может значительно улучшить точность эмоционального анализа с использованием моделей искусственного интеллекта.
Зачастую системы для определения эмоций сталкиваются с рядом трудностей. Первая из них — это недостаточная точность из-за разного освещения, углов съемки или фоновый шум. Вторая проблема — высокие затраты ресурсов, что затрудняет обработку данных на устройствах пользователей. Наконец, моделям требуется обучение на обширных наборах данных, а качественная разметка эмоций специалистами требует значительных временных затрат.
Разработки исследователей Сбербанка опираются на три основных элемента. Они предложили использовать нейронные сети, такие как EmotiEffNet, MobileViT и MobileFaceNet, обученные на общедоступных базах данных, для анализа мимики. Это позволяет моделям эффективно функционировать на смартфонах. Система также снижает нагрузку за счет того, что фильтрует кадры, где эмоции точно определены предварительно обученными моделями. Вдобавок, было доказано, что комбинирование данных разных типов (текст, аудио, видео) методом «позднего слияния» обеспечивает быструю адаптацию моделей к новым задачам.
Выводы исследования изложены в работе «Использование легковесных моделей анализа лица и текстовых модальностей в аудиовизуальном понимании эмоций в естественных условиях», которая была принята к публикации на международной конференции CVPR. На Восьмом международном конкурсе ABAW предложенный подход заслужил первое место в распознавании выражений лица и амбивалентности и третье место в оценке интенсивности эмоций и детектировании микро-выражений.
Источник: iXBT
