BLEU

BLEU (від англ. Bilingual Evaluation Understudy) — автоматична метрика оцінювання систем машинного перекладу, запропонована дослідниками IBM Кішором Папінені, Салімом Рукосом, Тоддом Вордом і Вей-Цзін Чжу у 2002 році. Вона вимірює подібність оцінюваного перекладу до одного або кількох еталонних перекладів за збігами n-грам. Під час обчислення кількість збігів обмежують їхньою частотою в еталонах, а надто короткі переклади додатково штрафують.

Класичний BLEU обчислюють для всього корпусу текстів. Результат зазвичай подають числом від 0 до 1 або у шкалі від 0 до 100, причому більше значення означає більшу подібність до еталонних перекладів. Метрика не оцінює безпосередньо змістову правильність, граматичність або зрозумілість тексту, а її значення залежить від токенізації, нормалізації, кількості еталонів та інших параметрів обчислення.

• BLEU: a Method for Automatic Evaluation of Machine Translation — первісна публікація, у якій запропоновано метрику BLEU (англ.).
• A Call for Clarity in Reporting BLEU Scores — про залежність значень BLEU від токенізації та інших параметрів обчислення (англ.).
• SacreBLEU — програмна реалізація для відтворюваного обчислення BLEU та інших метрик машинного перекладу (англ.).
• Модуль BLEU в Natural Language Toolkit — документація та приклади обчислення корпусного BLEU і BLEU для окремих речень (англ.).