At the metric level, we examine if training a model on data preferred by a specific metric (such as KIWI-XXL) yields improvements that are consistent across other metrics. To investigate this, we reconstruct the preference data using only KIWI-XXL or XCOMET and re-train the ALMA-13B-LoRA model using the CPO method. The results, presented in Table 5, do not indicate a significant bias towards the metric used for selecting preferred data. We observed similar and consistent improvements across all metrics, regardless of the specific metric used to select the preferred data. Considering Comet-series models may be positive correlated, we further evaluate ALMA-R using a non-comet metric, BLEURT (Sellam et al., 2020), and also observe significant improvements in Appendix H. The inclusion of a third-party evaluation metric further substantiates the superior translation quality of ALMA-R.
메트릭 수준에서는 특정 메트릭(예: KIWI-XXL)에 의해 선호되는 데이터에 대해 모델을 훈련하면 다른 메트릭에서도 일관된 개선 효과가 나타나는지 살펴봅니다. 이를 조사하기 위해 KIWI-XXL 또는 XCOMET만 사용하여 선호도 데이터를 재구성하고 CPO 방법을 사용하여 ALMA-13B-LoRA 모델을 다시 훈련합니다. 표 5에 제시된 결과에 따르면 선호 데이터를 선택하는 데 사용된 메트릭에 대한 중요한 편향은 나타나지 않았습니다. 선호 데이터를 선택하는 데 사용된 특정 메트릭에 관계없이 모든 메트릭에서 유사하고 일관된 개선 사항을 관찰했습니다. Comet-series 모델은 양의 상관관계가 있을 수 있으므로, comet이 아닌 메트릭인 BLEURT(Sellam et al., 2020)를 사용하여 ALMA-R을 추가로 평가한 결과, 부록 H에서도 상당한 개선 효과를 관찰할 수 있습니다. 타사 평가 지표를 포함하면 ALMA-R의 우수한 번역 품질이 더욱 입증됩니다.
메트릭 수준에서는 특정 메트릭(예: KIWI-XXL)에 의해 선호되는 데이터에 대해 모델을 훈련하면 다른 메트릭에서도 일관된 개선 효과가 나타나는지 살펴봅니다. 이를 조사하기 위해 KIWI-XXL 또는 XCOMET만 사용하여 선호도 데이터를 재구성하고 CPO 방법을 사용하여 ALMA-13B-LoRA 모델을 다시 훈련합니다. 표 5에 제시된 결과에 따르면 선호 데이터를 선택하는 데 사용된 메트릭에 대한 중요한 편향은 나타나지 않았습니다. 선호 데이터를 선택하는 데 사용된 특정 메트릭에 관계없이 모든 메트릭에서 유사하고 일관된 개선 사항을 관찰했습니다. 코멧 시리즈 모델은 양의 상관관계가 있을 수 있으므로, 코멧이 아닌 메트릭인 BLEURT(Sellam et al., 2020)를 사용하여 ALMA-R을 추가로 평가한 결과, 부록 H에서도 상당한 개선 효과를 관찰할 수 있습니다. 타사 평가 지표를 포함하면 ALMA-R의 우수한 번역 품질이 더욱 입증됩니다.