VK (ранее Mail.ru Group) интегрировала в экосистему холдинга решения Discovery для глубинного анализа контента. Как отмечают в пресс-службе, кроссформатная модель исследует каждую составляющую ролика — заголовок, обложку, аудиодорожку и видеоряд — по отдельности. Затем нейросеть объединяет все данные в едином пространстве, что позволяет рекомендационной системе «осмысливать» материалы и связывать различные форматы. Благодаря этому модель способна предложить ролик из «VK Видео», близкий по смыслу к понравившемуся текстовому посту во «ВКонтакте» или короткому видео в «VK Клипах», обеспечивая кросс-платформенные рекомендации.
Мультимодальная языковая модель (MMLM) соотносит материалы по смыслу и тематике, интерпретирует комментарии, описывает интересы пользователя относительно отдельных сцен и учитывает эмоциональную окраску контента. Нейросеть обучена на более чем трёх миллионах русскоязычных источников и способна анализировать видео, изображения, тексты и аудиодорожки. Благодаря ей рекомендации в сервисах VK появляются быстрее и без ожидания первых реакций аудитории.
Рекомендательная система автоматически выявляет в видео известных персон, что позволяет алгоритмам учитывать и тематику материалов, и участие в них популярных лиц. Решение основано на двух моделях машинного обучения: первая обрабатывает видеоряд с частотой одного кадра в секунду, а вторая распознаёт лица на этих кадрах и формирует единый «портрет» персонажа.
Помимо «VK Видео» и внутренних систем поиска и аналитики, эти технологии применят во всех продуктах VK, работающих с пользовательским контентом — от коротких роликов до музыкальных треков.
Источник: iXBT
