**Towards Reference-Free Metrics** Neural-based, reference-dependent metrics like COMET-22 demonstrate greater consistency with reference-free metrics and robustness compared to BLEU. For instance, with COMET-22, our models show significant improvements like other reference-free models over ALMA-13B-LoRA and comparable performance to GPT-4, e.g., 87.74 (Ours) vs. 87.68 (GPT-4) when en\(\rightarrow\)xx. However, it is important to note that, according to reference-free metrics, gold references are often inferior to system-generated translations, potentially indicating quality issues in the references that could impact COMET-22 evaluations. Consequently, inconsistencies still exist between COMET-22 and reference-free models like XCOMET. For example, XCOMET rates ALMA-R model on average higher than WMT winners (89.11 vs. 87.13), while COMET-22 favors WMT winners (85.21 vs. 85.60). In line with the recommendations in Freitag et al. (2023), we advocate for the use of reference-free models to circumvent the potential quality issues of references.
**참조 없는 메트릭을 향하여** COMET-22와 같은 신경 기반의 참조 의존 메트릭은 BLEU에 비해 참조 없는 메트릭과 더 큰 일관성과 robustness를 보여줍니다. 예를 들어, COMET-22를 사용한 모델은 ALMA-13B-LoRA에 비해 다른 참조 없는 모델과 마찬가지로 상당한 개선 효과를 보였으며, en\(\rightarrow\)xx일 때 87.74(우리) 대 87.68(GPT-4) 등 GPT-4와 비슷한 성능을 보였습니다. 그러나 참조 없는 메트릭에 따르면 골드 참조가 시스템 생성 번역보다 열등한 경우가 많으며, 이는 COMET-22 평가에 영향을 미칠 수 있는 참조의 품질 문제를 나타낼 수 있다는 점에 유의해야 합니다. 따라서 COMET-22와 XCOMET과 같은 참조 없는 모델 간에는 여전히 불일치가 존재합니다. 예를 들어, XCOMET은 평균적으로 ALMA-R 모델을 WMT 수상자보다 높게 평가합니다(89.11 대 87.13), 반면 COMET-22는 WMT 수상자를 선호합니다(85.21 대 85.60). Freitag 등(2023)의 권장 사항에 따라 참조의 잠재적인 품질 문제를 피하기 위해 참조 없는 모델을 사용할 것을 권장합니다.
**참조 없는 메트릭을 향하여** COMET-22와 같은 신경 기반의 참조 의존 메트릭은 BLEU에 비해 참조 없는 메트릭과 더 큰 일관성과 강건성을 보여줍니다. 예를 들어, COMET-22를 사용한 모델은 ALMA-13B-LoRA에 비해 다른 참조 없는 모델과 마찬가지로 상당한 개선 효과를 보였으며, en\(\rightarrow\)xx일 때 87.74(우리) 대 87.68(GPT-4) 등 GPT-4와 비슷한 성능을 보였습니다. 그러나 참조 없는 메트릭에 따르면 골드 참조가 시스템 생성 번역보다 열등한 경우가 많으며, 이는 COMET-22 평가에 영향을 미칠 수 있는 참조의 품질 문제를 나타낼 수 있다는 점에 유의해야 합니다. 따라서 COMET-22와 XCOMET과 같은 참조 없는 모델 간에는 여전히 불일치가 존재합니다. 예를 들어, XCOMET은 평균적으로 ALMA-R 모델을 WMT 수상자보다 높게 평가합니다(89.11 대 87.13), 반면 COMET-22는 WMT 수상자를 선호합니다(85.21 대 85.60). Freitag 등(2023)의 권장 사항에 따라 참조의 잠재적인 품질 문제를 피하기 위해 참조 없는 모델을 사용할 것을 권장합니다.