Сколько раз вы сталкивались с ситуацией, что выложенный фильм с интересным содержанием оказывался на иностранном языке? Хотели бы вы иметь информацию, изложенную в роликах на Ютубе иностранцами? Случалось ли, что вы не получали нужные сведения из-за языкового барьера в видео? Всё это сегодня уже легко можно пересмотреть, если научиться пользоваться сервисами, использующими искусственный интеллект для перевода речи в видео.
Как нейросети переводят видео?
Какой бы сайт вы ни использовали для решения проблемы перевода текста, озвученного в видео, все они применяют нейросети с искусственным интеллектом. Их действие осуществляет выполнение задачи через следующие этапы:
- система работает над распознаванием звуковой информации;
- речь транскрибируется в текст;
- текстовая выжимка уходит на специализирующуюся в читаемости нейронку;
- идёт технический перевод, сличение с языковым словарём и поиск аналогов в непереводимых местах;
- получившийся информационный файл поступает на обработку нейросети, занимающейся озвучкой, она же выверяет паузы и скоростной режим видеоформата, подгоняя его под исходный.
Короткие ролики обрабатываются в течение нескольких секунд, большие фильмы могут переводиться в течение минуты и более, но это всё равно очень короткие сроки, особенно если сравнить с ранее выполняемыми объёмами. В результате вы получаете видео с заложенным создателем смыслом и озвученный в формате, идентичном студийному.
На какие сервисы обращаться?
В интернете имеется немало сайтов, занимающихся переводами видео с Youtube, практически все они для этого пользуются нейросетями. Приведём несколько примеров:
- даже Яндекс Браузер берётся за перевод, предлагая это сделать в автоматическом режиме через специальную панель, формат пока двухголосный — мужской и женский;
- Cервис Speeek.io, вы можете загрузить сюда ссылку с Youtube на выходе получите видео с дублированным переводом, синтезированная речь максимальна похожа на человеческую. Сервис закодили наши русские разрабочики.
- если вас устроит текстовый формат — субтитры самого видеохостинга запускаются по умолчанию в автоматическом режиме, для этого в панели видео есть специальная кнопка;
- Votch TV, сервис, в котором достаточно выбрать язык для перевода с видеохостинга из 50 вариантов и запустить «Пуск», затем «Создать дублирование», на выходе получается полноценный видеофайл с мужским или женским озвучиванием, по вашему выбору;
- VOT, здесь можно добавить закадровый перевод в любой из браузеров, что особенно актуально для владельцев ПК и гаджетов с ОС Mac — качаем скриптовый менеджер, только после установки стороннего менеджера, например, Userscripts, запускаете само расширение и устанавливаете удобные под себя настройки.
Возможности перевода видеоинформации на нужный язык при помощи ИИ имеются также в Windows. Все нейросети работают примерно по одному и тому же сценарию, описанному нами выше, вы наблюдаете процесс создания субтитров, если их нет изначально, далее имеете возможность их перевода и редактирования, а затем они отправляются на «озвучку». Не забывайте убирать временные отметки, потому что иначе они тоже будут озвучены в видеоформате. В настройках также имеются скоростной режим и голосовая высота.
В чём сложности?
Сложности могут возникать с самостоятельно монтируемым видео, не интегрированным в видеохостинг, но эта проблема легко решается размещением файла на Ютубе. После этого перевод становится доступным через любой из перечисленных способов.
Другая проблема, на которую обращают внимание пользователи — это качество перевода. Нейросети дают лишь приблизительное представление о содержании видеоконтента, они не могут учитывать множество нюансов, которые имеются в каждом из языков, поэтому при необходимости точного перевода нужно обращаться к языковым носителям или пытаться использовать словари, разбираясь с тяжёлыми случаями вручную. Но стоит отметить что нейронки постоянно дообучаются и качество перевода постоянно улучшается.
Неотлаженными пока остаются паузы в диалогах, оставляют желать лучшего тембровые показатели, не учитываются интонационные характеристики, очень важные, например, в китайском, «озвучка» голосом может даже временами раздражать, но при желании вы всё равно поймёте суть происходящего на экране.
Отдельно стоит отметить, что многое зависит от качества речи в оригинале, ведь её смазанность, «проглатывание» слогов и прочие дефекты тяжело обрабатывать даже человеку с хорошим знанием языка. Тут можно посоветовать отдельные сервисы, занимающиеся улучшением звуковых характеристик, но они помогут только в некоторых случаях.
Заключение
Таким образом, благодаря применению ИИ нейросетей можно без всякого труда извлекать информацию из любого видеоконтента, независимо от языка оригинала. Есть определённые сложности с малопопулярными языковыми группами, но работа над ними продолжается, а самые распространённые — английский, китайский, немецкий, французский и т.д. — уже доступны для перевода в большинстве сервисов. По темпам, с которыми нейросети «учатся» особенностям человеческой речи и языковым особенностям, можно прогнозировать, что совсем скоро перевод будет возможен в автоматическом режиме и с высоким качеством, мы уже не сможем отличать его от профессионального дубляжа.