Figure 1: A performance comparison featuring our proposed model ALMA-13B-R against other recently released 13B LLM-based models, as well as top-performing translation systems like GPT-4 and WMT winners. This evaluation covers the WMT’22 test data across 8 directions, involving translations to and from English for German, Czech, Chinese, and Russian. Scores are averaged by three different reference-free models: wmt23-cometkiwi-da-xxl, XCOMET-XXL, and wmt22-cometkiwi-da, and are also averaged across all directions. The gold reference is also evaluated due to the reference-free approach. Our model, ALMA-13B-R, developed by further training ALMA-13B-LoRA using our proposed CPO method, either matches or surpasses the most advanced translation models, We show the detailed numerical data for all systems presented in the figure in Appendix A.
Figure 1: 최근에 출시된 다른 13B LLM 기반 모델들과 GPT-4 및 WMT 우승자와 같은 최고 성능의 번역 시스템과 비교하여, 제안된 모델 ALMA-13B-R의 성능 비교. 이 평가는 독일어, 체코어, 중국어, 러시아어에 대해 영어로의 번역과 영어에서의 번역을 포함하여 8개의 방향에 걸쳐 WMT’22 테스트 데이터를 다룹니다. 점수는 wmt23-cometkiwi-da-xxl, XCOMET-XXL, wmt22-cometkiwi-da라는 세 가지 다른 참조 없는 모델에 의해 평균화되며, 모든 방향에 걸쳐 평균화됩니다. 참조 없는 접근 방식으로 인해 골드 참조도 평가됩니다. 제안된 CPO 방법을 사용하여 ALMA-13B-LoRA를 추가로 훈련하여 개발된 우리 모델 ALMA-13B-R은 가장 진보된 번역 모델과 동등하거나 이를 능가합니다. 그림에 제시된 모든 시스템에 대한 자세한 수치 데이터는 부록 A에 나와 있습니다.
그림 1: 최근 출시된 13B LLM 기반 모델과 GPT-4 및 WMT 수상자와 같은 최고 성능의 번역 시스템을 대상으로 제안된 모델 ALMA-13B-R을 비교한 성능입니다. 이 평가는 독일어, 체코어, 중국어, 러시아어의 영어 번역을 포함하여 8가지 방향의 WMT'22 테스트 데이터를 다룹니다. 세 가지 참조 없는 모델(wmt23-cometkiwi-da-xxl, XCOMET-XXL, wmt22-cometkiwi-da)을 통해 평균화되며 모든 방향에 걸쳐 평균화됩니다. 참조 없는 접근 방식으로 인해 골드 참조도 평가됩니다. 제안된 CPO 방법을 사용하여 ALMA-13B-LoRA를 추가로 훈련하여 개발한 저희 모델인 ALMA-13B-R은 가장 진보된 번역 모델과 동등하거나 능가합니다. 그림에 제시된 모든 시스템에 대한 자세한 수치 데이터는 부록 A에서 확인할 수 있습니다.