In this study, we initially proposed the potential quality issues of gold references in the MT task, highlighting instances where advanced translation models can outperform these references. This finding not only challenges model training via SFT, but also the evaluation procedure that uses reference-based metrics. Subsequently, we introduce Contrastive Preference Optimization, a more efficient variant of of DPO. This method leverages both model-generated and reference data to guide the model in avoiding near-perfect yet flawed translations and learning superior ones. Our developed model, ALMA-13B-R, stands out as the first moderate-size LLM-based translation model to match, and in some cases surpass, the performance of GPT-4 and WMT competition winners, marking a significant advancement in the field of MT.
이 연구에서는 MT 작업에서 gold references의 잠재적인 품질 문제를 처음으로 제안하여 고급 번역 모델이 이러한 참조보다 뛰어난 성능을 발휘할 수 있는 사례를 강조했습니다. 이 발견은 Supervised Fine-tuning (SFT)를 통한 모델 학습뿐만 아니라 참조 기반 메트릭을 사용하는 평가 절차에도 도전이 됩니다. 이어서 우리는 DPO의 보다 효율적인 변형인 Contrastive Preference Optimization을 소개합니다. 이 방법은 모델 생성 데이터와 참조 데이터를 모두 활용하여 모델이 완벽하지만 결함이 있는 번역을 피하고 더 우수한 번역을 학습하도록 안내합니다. 개발된 모델인 ALMA-13B-R은 중간 규모의 Large Language Models (LLM) 기반 번역 모델로는 최초로 GPT-4 및 WMT 대회 우승자의 성능에 필적하고 경우에 따라서는 능가하는 성능을 발휘하여 MT 분야에서 중요한 발전을 이루었습니다.
이 연구에서는 MT 작업에서 금 참조의 잠재적인 품질 문제를 처음으로 제안하여 고급 번역 모델이 이러한 참조보다 뛰어난 성능을 발휘할 수 있는 사례를 강조했습니다. 이 발견은 SFT를 통한 모델 학습뿐만 아니라 참조 기반 메트릭을 사용하는 평가 절차에도 도전이 됩니다. 이어서 우리는 DPO의 보다 효율적인 변형인 대조 선호도 최적화를 소개합니다. 이 방법은 모델 생성 데이터와 참조 데이터를 모두 활용하여 모델이 완벽하지만 결함이 있는 번역을 피하고 더 우수한 번역을 학습하도록 안내합니다. 개발된 모델인 ALMA-13B-R은 중간 규모의 LLM 기반 번역 모델로는 최초로 GPT-4 및 WMT 대회 우승자의 성능에 필적하고 경우에 따라서는 능가하는 성능을 발휘하여 MT 분야에서 중요한 발전을 이루었습니다.