Concerns may arise regarding the similar training procedure of COMET metrics, leading to high correlation among COMET models, which potentially undermine the validity of our analysis in Section 5.1. To address this, we also consider BLEURT-20 (Sellam et al., 2020), a non-COMET and neural-based (but reference-based evaluation) metric. We present BLEURT scores for ALMA-13B-LoRA and ALMA-13B-R in Table 15. Notably, even when preference data is constructed using COMET-based evaluations, significant improvements in non-COMET scores are observed. This strengthens our findings that translations produced by ALMA-R are indeed superior and robust.
COMET metric의 유사한 훈련 절차로 인해 COMET 모델 간의 상관관계가 높아져 섹션 5.1의 분석 타당성이 훼손될 수 있다는 우려가 제기될 수 있습니다. 이를 해결하기 위해 비 COMET 및 neural-based(참고 기반 평가) metric인 BLEURT-20(Sellam et al., 2020)도 고려했습니다. 표 15에 ALMA-13B-LoRA 및 ALMA-13B-R에 대한 BLEURT 점수를 제시합니다. 특히 COMET 기반 평가를 사용하여 선호도 데이터를 구성한 경우에도 비 COMET 점수가 크게 향상되는 것을 볼 수 있습니다. 이는 ALMA-R에서 생성된 번역이 실제로 우수하고 robust하다는 연구 결과를 강화합니다.
COMET 메트릭의 유사한 훈련 절차로 인해 COMET 모델 간의 상관관계가 높아져 섹션 5.1의 분석 타당성이 훼손될 수 있다는 우려가 제기될 수 있습니다. 이를 해결하기 위해 비 COMET 및 신경 기반(참고 기반 평가) 메트릭인 BLEURT-20(Sellam et al., 2020)도 고려했습니다. 표 15에 ALMA-13B-LoRA 및 ALMA-13B-R에 대한 BLEURT 점수를 제시합니다. 특히 COMET 기반 평가를 사용하여 선호도 데이터를 구성한 경우에도 비 COMET 점수가 크게 향상되는 것을 볼 수 있습니다. 이는 ALMA-R에서 생성된 번역이 실제로 우수하고 강력하다는 연구 결과를 강화합니다.