stance, one may notice that some strong translation models are capable of producing translations superior to the gold reference, as illustrated in Figure 1. Secondly, SFT lacks a mechanism to prevent the model from rejecting mistakes in translations. While strong translation models can produce high-quality translations, they occasionally exhibit minor errors, such as omitting parts of the translation. _Preventing the production of these near-perfect but ultimately flawed translation is essential_. To overcome these issues, we introduce Contrastive Preference Optimization (CPO) to train the ALMA model using specially curated preference data. After CPO training, the ALMA-R model shows marked improvements, achieving performance levels that match or even surpass those of GPT-4 and WMT competition winners.
자세히 살펴보면 그림 1과 같이 일부 강력한 번역 모델이 골드 레퍼런스보다 우수한 번역을 생성할 수 있음을 알 수 있습니다. 둘째, Supervised Fine-tuning (SFT)에는 모델이 번역의 실수를 거부하는 것을 방지하는 메커니즘이 없습니다. 강력한 번역 모델은 고품질의 번역을 생성할 수 있지만, 번역의 일부를 생략하는 등 사소한 오류를 보이는 경우가 있습니다. _이렇게 완벽에 가깝지만 결국 결함이 있는 번역을 생성하는 것을 방지하는 것은 필수적입니다_. 이러한 문제를 극복하기 위해 특별히 큐레이션된 선호도 데이터를 사용하여 ALMA 모델을 훈련하기 위해 Contrastive Preference Optimization (CPO)을 도입했습니다. CPO 훈련 후 ALMA-R 모델은 GPT-4 및 WMT 대회 우승자와 동등하거나 그 이상의 성능 수준을 달성하는 눈에 띄는 개선 사항을 보여줍니다.
자세히 살펴보면 그림 1과 같이 일부 강력한 번역 모델이 골드 레퍼런스보다 우수한 번역을 생성할 수 있음을 알 수 있습니다. 둘째, SFT에는 모델이 번역의 실수를 거부하는 것을 방지하는 메커니즘이 없습니다. 강력한 번역 모델은 고품질의 번역을 생성할 수 있지만, 번역의 일부를 생략하는 등 사소한 오류를 보이는 경우가 있습니다. _이렇게 완벽에 가깝지만 결국 결함이 있는 번역을 생성하는 것을 방지하는 것은 필수적입니다_. 이러한 문제를 극복하기 위해 특별히 큐레이션된 선호도 데이터를 사용하여 ALMA 모델을 훈련하기 위해 대조적 선호도 최적화(CPO)를 도입했습니다. CPO 훈련 후 ALMA-R 모델은 GPT-4 및 WMT 대회 우승자와 동등하거나 그 이상의 성능 수준을 달성하는 눈에 띄는 개선 사항을 보여줍니다.