Яндекс представил инновационный способ оценки и улучшения машинного перевода

Команда исследователей Яндекса представила разработку под названием RATE (Refined Assessment for Translation Evaluation) — усовершенствованную метрику оценки перевода, призванную повысить естественность текстов, создаваемых ИИ. Метод рассчитан на системы, способные обеспечить высокую точность перевода, но зачастую выдающие неестественные формулировки.

В Яндексе отметили:

К примеру, в разговорном контексте нейросеть может перевести «sorry, my bad» как «приношу извинения, это моя вина» вместо более живой «сорян, моя ошибка». Пользователь сразу ощутит излишнюю формальность, но традиционные метрики подобные огрехи не фиксируют. Новый метод помогает ИИ обращать внимание на такие нюансы.

Метод RATE оценивает перевод по трём параметрам: точности передачи смысла, естественности языка и соответствию стилю оригинала. Это делает его применимым к любым жанрам текста. Так, в новостных статьях он проверяет корректность фактов, в постах в соцсетях выявляет излишнюю официальность, а в художественных произведениях анализирует стилистическую цельность и плавность изложения. RATE не только фиксирует ошибки, но и ранжирует их значимость — от небольших неточностей до серьёзных искажений.

Источник: iXBT