Microsoft запатентовала технологию изменения голосов и лиц людей в реальном времени с помощью ИИ

Корпорация Microsoft запатентовала инновационный искусственный интеллект, способный модифицировать видеоматериалы и аудиодорожки публичных выступлений с минимальной задержкой. Заявленная разработка выходит далеко за рамки простого монтажа звука: нейросети будут комплексно перерабатывать визуальный образ спикера — включая мимику и артикуляцию, — добиваясь безупречного соответствия обновленной речевой дорожке.

Инструментарий позволяет находить и нейтрализовать заданные лексемы и фразы, полностью стирая их или подбирая эквивалентную замену на основе пользовательских пресетов или заранее определенных критериев. Чтобы склейки оставались незаметными, алгоритм производит бесшовную гармонизацию аудио- и видеофрагментов, прилегающих к измененному участку.

В качестве ключевых сценариев использования Microsoft выделяет многоязычный перевод прямых эфиров «на лету». Кроме того, софт способен устранять речевые дефекты, заикание и назойливый мусор в лексике. Впрочем, патент описывает и куда более дискуссионные возможности: искоренение диалектизмов, сленга, оговорок, а также табуированной лексики. Подбор синонимов для замещения может осуществляться ИИ в автоматическом режиме посредством веб-поиска.

Спектр потенциального применения охватывает самые разные медиаформаты — от академических лекций и деловых презентаций до масштабных телешоу, концертов и спортивных репортажей. В результате конечный потребитель сможет наслаждаться не просто переведенным контентом, а персонализированной версией трансляции, адаптированной под индивидуальные языковые и стилистические предпочтения.

Авторы патента заложили механизм хранения эталонных копий оригинального медиаконтента для верификации. Данная мера призвана помочь в различении подлинника и цифрово модифицированного продукта, хотя масштабное тиражирование отредактированных роликов все равно создает определенные риски для достоверности информации.

Источник: iXBT