ЯндексGPT обошла Google Translate, ChatGPT и DeepL, став лучшей в мире нейросетью для перевода с английского на русский

Система «Яндекс Переводчик» с использованием YandexGPT была признана лучшей в мире по качеству перевода с английского на русский язык согласно результатам международного независимого исследования DiBiMT. Об этом сообщила пресс-служба Яндекса.

В компании подчеркнули:

Интеграция крупной языковой модели в сервис дала возможность удвоить точность переводов в течение года, сделав их натуральными и сохраняя стилистические особенности, а также смысл устойчивых выражений. Это позволило превзойти таких лидеров, как Google Translate, ChatGPT и DeepL. Опубликованный рейтинг подготовлен ведущими мировыми центрами машинного обучения итальянскими институтами Sapienza и SSML Carlo Bo.

Benchmark DiBiMT — это стандартный тест, оценивающий уровень ошибок в переводе (например, неправильное понимание значения слова в контексте). В тестировании, кроме «Яндекс Переводчика» с YandexGPT, участвовали 22 системы перевода. Модель Яндекса, например, опередила такие нейросети, как GPT-4, Gemma 2 9b, Llama-3 8b и другие.

Исследователи собрали базу с несколькими тысячами английских предложений, содержащих омонимы — слова с одинаковым написанием, но разными значениями. Модели и сервисы переводили эти предложения, а алгоритмы бенчмарка оценивали процент корректно переведённых слов. Правильность некоторых переводов проверялась профессиональными переводчиками, что гарантировало высокое качество оценки. На основе этих данных был составлен публичный рейтинг.

Источник: iXBT