Nvidia сократила обработку аудио до секунды: открытая модель преобразования речи в текст соперничает с GPT-4

Компания Nvidia продолжает активное развитие линейки открытых моделей нейросетей. Новая система для автоматического распознавания речи (ASR) под названием Parakeet-TDT-0.6B-v2 способна за секунду расшифровать час аудиозаписи, достигая точности, сопоставимой с платными решениями, такими как GPT-4o и ElevenLabs Scribe. Модель распространяется по лицензии CC-BY-4.0, разрешающей неограниченное коммерческое использование.

Представленная 1 мая модель Parakeet-TDT-0.6B-v2 заняла лидирующую позицию в рейтинге Open ASR Leaderboard от Hugging Face, показывая показатель Word Error Rate (WER) 6,05%. Для сравнения, у модели GPT-4o-transcribe этот параметр составляет 2,46%, а у ElevenLabs Scribe — 3,3%. Парейжит использует архитектуры FastConformer (кодировщик) и TDT (декодер), что позволяет обрабатывать аудио в 3386 раз быстрее реального времени при пакетной обработке размером 128. Также поддерживается расстановка знаков препинания, заглавные буквы и точные временные метки для каждого слова.

Модель обучалась на массиве данных Granary, который включает 120 000 часов англоязычных записей. Из них 10 000 часов содержат вручную размеченные данные из LibriSpeech и Mozilla Common Voice, а остальная часть представлена псевдоразметкой из открытых источников, таких как YouTube-Commons и Librilight. Nvidia планирует опубликовать полный датасет после конференции Interspeech 2025.

Parakeet-TDT-0.6B-v2 отличается стабильной работой даже в шумных условиях и с телефонными записями, однако при низком уровне сигнала точность может незначительно снижаться. Модель оптимизирована для графических процессоров Nvidia (A100, H100, T4, V100), но функционирует и на системах с 2 ГБ оперативной памяти. Для её развертывания доступны Python-скрипты и фреймворк NeMo, позволяющие адаптировать систему под специфические задачи.

Компания заявила о строгом соблюдении принципов ответственного использования ИИ: обучение проходило без задействования персональных данных, а документация включает описание методов сбора данных и оценки конфиденциальности. Однако меры по устранению демографических смещений не были предприняты.

Разработчики считают Parakeet-TDT-0.6B-v2 значительным достижением для сообщества open source. Модель доступна на платформе Hugging Face и через NeMo, что значительно облегчает её интеграцию в сервисы транскрибации, голосовые ассистенты или системы генерации субтитров.

Источник: iXBT