Перевод текста нейросетью: чем она лучше машинного переводчика и где ошибается
Языковая модель переводит документ связнее обычного переводчика: видит текст целиком и слушается глоссария. Но она же молча теряет и дописывает фразы, а гладкость перевода это прячет.
Короткий ответ: нейросеть как переводчик обычно справляется со связным текстом лучше привычного машинного перевода — языковая модель видит документ целиком, и ей можно заранее задать термины и регистр. Слабое место у неё — полнота: она может молча выпустить фразу или дописать свою, и гладкость перевода это прячет.
Преимущество подтверждено не только ощущениями. В исследовании 2023 года, где переводили целые документы, люди-оценщики ставили GPT-3.5 и GPT-4 выше коммерческих систем перевода. С тех пор изменились обе стороны, поэтому я читаю этот результат как направление, а не как счёт. Перевод вообще из тех задач, где модель экономит время: форма устойчивая, а проверить быстрее, чем перевести самому.
Обратная сторона тоже описана. В работе того же года ошибки ChatGPT при переводе оказались другого рода, чем у специализированных систем: текст не на том языке, лишнее продолжение, ответ вместо перевода. Чужой язык и отказ видно сразу, дописанное — только при сверке с оригиналом. Природа та же, что у выдумок вообще: модель продолжает правдоподобно, а не сверяется с исходником.
Поэтому у меня два обязательных шага.
Глоссарий до перевода. Список терминов с единственным допустимым переводом идёт в начало запроса. Без него одно понятие в разных разделах получает разные названия, и каждое грамматически верно.
Обратная проверка на пропуски. Готовый перевод отдельным вызовом переводится обратно, и я сверяю его с оригиналом по абзацам: имена, отрицания, не выпал ли кусок. Стиль здесь не оцениваю, только полноту. Цифры и количество абзацев скрипт сравнивает напрямую между оригиналом и переводом, без обратного шага.
Про тон отдельно. При переводе на русский текст легко выходит калькированным — та же беда, что с англоязычной инструкцией. Помогает пара абзацев образца нужного регистра, а не слово «естественно».
Обратный перевод ловит пропуски, но плохо ловит ослабленную формулировку: обязанность в переводе может стать пожеланием, а при переводе назад модель снова сделает из неё обязанность, и сверка ничего не покажет. Поэтому договор, инструкцию к лекарству и медицинское заключение переводит человек, а модель готовит ему черновик и глоссарий.