**Stop Using BLEU** BLEU, a metric extensively utilized for decades, often diverges from neural-based and reference-free metrics, a phenomenon also observed in previous studies (Xu et al., 2023; Freitag et al., 2023). For instance, WMT competition winners often exhibit superior performance according to BLEU (or COMET-22), yet this is not corroborated by reference-free models. A case in point is the WMT winners scoring an exceptionally high 64.14 BLEU in cs\(\rightarrow\)en translations, significantly outperforming other models by 20 BLEU points. However, reference-free evaluations suggest these translations are inferior to those generated by our models and GPT-4. We hypothesize that this discrepancy may arise from WMT models being trained on domain-specific data closely related to the WMT test set, leading to high lexical matches but lacking semantic depth as evaluated by neural-based metrics. While BLEU scores are effective for assessing basic functionality in weaker models, their utility diminishes with advanced translation models capable of generating diverse translations. In such contexts, relying solely on BLEU for evaluation appears increasingly outdated.
**BLEU 사용 중지** BLEU는 수십 년 동안 널리 사용된 지표로, 신경망 기반 및 참조 없는 지표와 종종 일치하지 않는 경우가 많습니다. 이는 이전 연구(Xu et al., 2023; Freitag et al., 2023)에서도 관찰된 현상입니다. 예를 들어, WMT 대회 우승자들은 BLEU(또는 COMET-22)에 따르면 뛰어난 성능을 보이지만, 이는 참조 없는 모델들에 의해 입증되지 않습니다. 한 예로, WMT 우승자들은 cs\(\rightarrow\)en 번역에서 64.14라는 매우 높은 BLEU 점수를 기록하며 다른 모델들을 20 BLEU 포인트 차이로 능가했습니다. 그러나 참조 없는 평가에서는 이러한 번역이 우리 모델과 GPT-4가 생성한 번역보다 열등하다고 제안합니다. 우리는 이 불일치가 WMT 모델들이 WMT 테스트 세트와 밀접하게 관련된 도메인 특화 데이터를 학습했기 때문에 발생할 수 있다고 가정합니다. 이는 높은 어휘적 일치를 초래하지만 신경망 기반 지표로 평가할 때 의미적 깊이가 부족합니다. BLEU 점수는 약한 모델의 기본 기능을 평가하는 데 효과적이지만, 다양한 번역을 생성할 수 있는 고급 번역 모델에서는 그 유용성이 감소합니다. 이러한 맥락에서 평가를 위해 BLEU에만 의존하는 것은 점점 시대에 뒤떨어진 것으로 보입니다.
**BLEU 사용 중지** 수십 년 동안 광범위하게 활용되어 온 지표인 BLEU는 신경 기반 지표 및 참조 없는 지표와 종종 차이가 있으며, 이는 이전 연구에서도 관찰된 현상입니다(Xu et al., 2023; Freitag et al., 2023). 예를 들어, WMT 대회 우승자는 BLEU(또는 COMET-22)에 따라 우수한 성능을 보이는 경우가 많지만, 참조 없는 모델에서는 이를 확인할 수 없습니다. 한 가지 사례로, WMT 우승자는 cs\(\rightarrow\)en 번역에서 64.14의 매우 높은 BLEU 점수를 받아 다른 모델보다 20 BLEU 포인트 더 높은 성능을 보였습니다. 그러나 참조 없는 평가에 따르면 이러한 번역은 우리 모델과 GPT-4에서 생성된 번역보다 열등한 것으로 나타났습니다. 이러한 차이는 WMT 모델이 WMT 테스트 세트와 밀접하게 관련된 도메인별 데이터로 학습되었기 때문에 어휘 일치율은 높지만 신경 기반 메트릭으로 평가할 때 의미론적 깊이가 부족하기 때문에 발생할 수 있다고 가설을 세웁니다. BLEU 점수는 약한 모델에서 기본 기능을 평가하는 데 효과적이지만, 다양한 번역을 생성할 수 있는 고급 번역 모델에서는 그 유용성이 감소합니다. 이러한 맥락에서 평가를 위해 BLEU에만 의존하는 것은 점점 더 구식으로 보입니다.