**Are reference Gold or Gilded?** We conducted an in-depth analysis of the training data (FLORES-200 data) utilized by the ALMA model. We meticulously compared the quality of the reference translations with those generated by strong translation models. Our findings reveal that, in numerous instances, the quality of human-written parallel data is even inferior to that of system-generated translations. This observation underscores a critical insight: training models exclusively towards replicating reference translations may not be the most effective approach, and reliance on reference-based evaluation could be flawed.
**참조 번역은 Gold인가 Gilded인가?** 우리는 ALMA 모델이 사용한 학습 데이터(FLORES-200 데이터)에 대한 심층 분석을 수행했습니다. 우리는 참조 번역의 품질을 강력한 번역 모델이 생성한 번역과 세심하게 비교했습니다. 우리의 연구 결과, 많은 경우에 인간이 작성한 병렬 데이터의 품질이 시스템이 생성한 번역보다 오히려 열등하다는 것을 발견했습니다. 이 관찰은 중요한 통찰을 강조합니다: 참조 번역을 복제하는 것에만 모델을 훈련시키는 것이 가장 효과적인 접근법이 아닐 수 있으며, 참조 기반 평가에 의존하는 것이 결함이 있을 수 있습니다.
**참조 골드 또는 금박 처리되어 있나요?** ALMA 모델에서 활용하는 학습 데이터(FLORES-200 데이터)에 대한 심층 분석을 수행했습니다. 참조 번역의 품질을 강력한 번역 모델에서 생성한 번역과 꼼꼼하게 비교했습니다. 그 결과, 수많은 경우에 걸쳐 사람이 작성한 병렬 데이터의 품질이 시스템에서 생성한 번역보다 떨어지는 것으로 나타났습니다. 이러한 관찰은 중요한 통찰력을 강조합니다. 참조 번역을 복제하는 것만을 목표로 모델을 학습시키는 것이 가장 효과적인 접근 방식이 아닐 수 있으며, 참조 기반 평가에 의존하는 것은 결함이 있을 수 있다는 것입니다.