Привлекательный трейлер киберпанк 2077 с официальными озвучками

Привет, ДТФ. Если кто помнит, это я тот чел, который с помощью нейросети сделал озвучку на трейлер второго Сталкера. Кто не помнит — приятно познакомиться)

Выбор эксперимента по дальнейшему импортозамещению пал на трейлер грядущего творения Рэдов. Что особенно приятно, в этот раз я не был ограничен довольно скудным набором сталкерских голосов, и с новыми персонажами можно было знатно поэкспериментировать. На каких голосах остановился в итоге — можете услышать сами. А если кто догадается, ассоциации с какой игрой я пытался вызвать — тот вообще умничка 🌚

Каким образом это сделано? Вообще, у нас закрепилось мнение, что озвучка нейросетью — это просто синтез речи из текста (text to voice). Но в последнее время активно развиваются технологии клонирования голоса (voice to voice), что кажется мне куда более перспективной отраслью. На пальцах всё просто: из набора записей какого-то либо голоса нейросеть создаёт модель, с помощью которой можно изменить любой другой голос под целевой (вплоть до смены пола 🌝); актёр записывает все необходимые реплики; нейросеть их обрабатывает; сводим и получаем готовый продукт. На деле же всё куда сложнее и замороченнее: сетка постоянно норовит услышать не тот звук, что нужно; качество морфинга сильно разнится от модели к модели (на данный момент активно пытаюсь понять, каким же должен быть идеальный датасет); интонация порой сильно страдает в местах резкого изменения громкости и тона (с криками вообще довольно сложно пока). Можно ли с этим бороться? Да, и данный трейлер демонстрирует это. А ещё прогресс не стоит на месте и вполне возможно, что через пару лет всех этих косяков уже не будет.

Как и в прошлый раз, разочарую страждущих: это всего лишь прикол, эксперимент, взгляд в параллельную Вселенную в конце-концов. Одни только запись и обработка голосовых исходников для этого трейлера в общей сложности заняли часов пять, а обучение моделек — около двух недель. Будущее ещё не наступило, увы. Когда оно наступит — поговорим об озвучке полноценных игр, а пока… До новых встреч.

Источник