**Model Outputs Can Be Better References** In Table 1, we present the evaluation scores of K1WI-XXL and XCOMET for the gold references, ALMA-13B-LoRA outputs, and GPT-4 outputs. Additionally, we report _Win Ratio_, reflecting the proportion of instances where model outputs surpass the gold standard references. These metrics are calculated as an average across five languages. Remarkably, even comparing with the high-quality Flores-200 dataset, the average performance of translation models in xx\(\rightarrow\)en translations significantly exceeds that of the references, showing approximately 3-4 point increases in K1WI-XXL and 4-6 point gains in XCOMET. Notably, a significant proportion of outputs are rated higher than the references by K1WI-XXL (e.g., **73.24%** for ALMA), with a slightly reduced yet still substantial percentage when assessed using XCOMET (**60.17%** for ALMA). In the en\(\rightarrow\)xx direction, while the overall performance between the translations from reference and two systems is comparable, approximately 40% are still deemed superior to the reference translations.
**모델 출력은 더 나은 참조가 될 수 있습니다** 표 1에는 gold references, ALMA-13B-LoRA outputs 및 GPT-4 outputs에 대한 K1WI-XXL 및 XCOMET의 평가 점수가 나와 있습니다. 또한 모델 출력이 gold standard references를 초과하는 인스턴스의 비율을 반영하는 _Win Ratio_도 보고합니다. 이러한 metrics는 5개 언어에 대한 평균으로 계산됩니다. 고품질의 Flores-200 데이터 세트와 비교하더라도 xx\(\rightarrow\)en 번역에서 번역 모델의 평균 성능은 references보다 현저히 뛰어나며, K1WI-XXL의 경우 약 3~4점, XCOMET의 경우 약 4~6점 증가한 것으로 나타났습니다. 특히, K1WI-XXL(예: ALMA의 경우 **73.24%**)을 사용하여 평가할 때 references보다 높은 등급을 받은 출력의 비율이 상당히 높으며, XCOMET을 사용하여 평가할 때도 약간 감소했지만 여전히 상당한 비율을 보입니다(**ALMA의 경우 60.17%**). en\(\rightarrow\)xx 방향에서는 references와 두 시스템의 번역 간의 전반적인 성능이 비슷하지만 약 40%가 여전히 reference translations보다 우수한 것으로 평가되었습니다.
**모델 출력은 더 나은 참조가 될 수 있습니다** 표 1에는 골드 참조, ALMA-13B-LoRA 출력 및 GPT-4 출력에 대한 K1WI-XXL 및 XCOMET의 평가 점수가 나와 있습니다. 또한 모델 출력이 골드 표준 참조를 초과하는 인스턴스의 비율을 반영하는 _Win Ratio_도 보고합니다. 이러한 메트릭은 5개 언어에 대한 평균으로 계산됩니다. 고품질의 Flores-200 데이터 세트와 비교하더라도 xx\(\rightarrow\)en 번역에서 번역 모델의 평균 성능은 참조보다 현저히 뛰어나며, K1WI-XXL의 경우 약 3~4점, XCOMET의 경우 약 4~6점 증가한 것으로 나타났습니다. 특히, K1WI-XXL(예: ALMA의 경우 **73.24%**)을 사용하여 평가할 때 참조보다 높은 등급을 받은 출력의 비율이 상당히 높으며, XCOMET을 사용하여 평가할 때도 약간 감소했지만 여전히 상당한 비율을 보입니다(**ALMA의 경우 60.17%**). en\(\rightarrow\)xx 방향에서는 참조와 두 시스템의 번역 간의 전반적인 성능이 비슷하지만 약 40%가 여전히 참조 번역보다 우수한 것으로 평가되었습니다.