Алгоритм стэнфордских исследователей и Adobe самостоятельно редактирует диалоги из фильмов

Исследователи из Стэнфордского университета и Adobe разработали алгоритм искусственного интеллекта, который отлично справляется с редактированием видеозаписей диалогов. Обычно такая работа требует артистичности, навыка и немало времени.

Бот избавляет от нудной работы и может редактировать фильмы с использованием разных стилей, которые больше подходят проекту. Система может организовывать дубли и сопоставлять их со строками диалогов. Она распознаёт голоса, лица и эмоции для определения типа кадра, интенсивности чувств актёра и других вещей. Режиссёр может отснять 10 дублей одной сцены, поэтому ИИ экономит часы работы.

Главная особенность алгоритма — возможность редактировать диалоги с пониманием правил съёмки фильма. Например, многие сцены начинаются с вводного кадра, чтобы зритель понимал, что ему показывают. Оператор может изменять скорость движения камеры, акцентировать внимание на определённом персонаже или усиливать эмоции.

Всё, что нужно сделать человеку — это внести предпочтительные правила съёмки в систему. Остальное ИИ сделает сам в соответствии со сценарием. Система смогла создать 71-секундное видео за 2–3 секунды, сохранив при этом настроение оригинала. На выполнение той же задачи у человека ушло три часа. Ему, помимо прочего, приходилось пересматривать отрывки видео по несколько раз.

Система работает только с диалогами и не умеет сама оценивать качество исполнения, естественность и эмоциональность дублей. Поэтому человеку приходится проверять работу искусственного интеллекта.