Hence, the ability of models to effectively translate is contingent upon the availability of high-quality translation pairs (Xu et al., 2023; Maillard et al., 2023). Furthermore, prevalent evaluation tools such as BLEU (Papineni et al., 2002) and COMET-22 (Rei et al., 2022) predominantly rely on reference-based metrics. However, the precision of these evaluations is sensitive to and compromised by substandard references (Kocmi et al., 2023; Freitag et al., 2023). Recent research (Xu et al., 2023; Kocmi et al., 2023; Freitag et al., 2023) has shifted attention towards assessing the quality of parallel datasets, indicating that target references may not consistently represent the highest quality. In Figure 2, we take a translation example from the FLORES-200 dataset, and compare the gold reference translation with outputs from the best ALMA model and GPT-4. This comparison reveals that the gold reference is a flawed translation, as it omits part of information, whereas the system-generated outputs demonstrate superior quality.
따라서 모델이 효과적으로 번역할 수 있는 능력은 고품질 번역 쌍의 가용성에 따라 달라집니다(Xu et al., 2023; Maillard et al., 2023). 또한 BLEU(Papineni et al., 2002) 및 COMET-22(Rei et al., 2022)와 같은 일반적인 평가 도구는 주로 reference-based metrics에 의존합니다. 그러나 이러한 평가의 정확도는 표준 이하의 참조에 민감하고 이에 의해 손상될 수 있습니다(Kocmi et al., 2023; Freitag et al., 2023). 최근 연구(Xu et al., 2023; Kocmi et al., 2023; Freitag et al., 2023)에서는 parallel datasets의 품질을 평가하는 방향으로 관심을 옮겨가고 있으며, 이는 target references가 일관되게 최고 품질을 나타내지 않을 수 있음을 나타냅니다. 그림 2에서는 FLORES-200 데이터 세트의 번역 예시를 들어 gold reference 번역과 최고 ALMA 모델 및 GPT-4의 출력을 비교합니다. 이 비교를 통해 gold reference는 정보의 일부를 생략하는 결함이 있는 번역인 반면, 시스템 생성 출력은 더 우수한 품질을 보여주는 것을 알 수 있습니다.
따라서 모델이 효과적으로 번역할 수 있는 능력은 고품질 번역 쌍의 가용성에 따라 달라집니다(Xu et al., 2023; Maillard et al., 2023). 또한 BLEU(Papineni et al., 2002) 및 COMET-22(Rei et al., 2022)와 같은 일반적인 평가 도구는 주로 참조 기반 메트릭에 의존합니다. 그러나 이러한 평가의 정확도는 표준 이하의 참조에 민감하고 이에 의해 손상될 수 있습니다(Kocmi et al., 2023; Freitag et al., 2023). 최근 연구(Xu et al., 2023; Kocmi et al., 2023; Freitag et al., 2023)에서는 병렬 데이터 세트의 품질을 평가하는 방향으로 관심을 옮겨가고 있으며, 이는 대상 참조가 일관되게 최고 품질을 나타내지 않을 수 있음을 나타냅니다. 그림 2에서는 FLORES-200 데이터 세트의 번역 예시를 들어 골드 참조 번역과 최고 ALMA 모델 및 GPT-4의 출력을 비교합니다. 이 비교를 통해 골드 참조는 정보의 일부를 생략하는 결함이 있는 번역인 반면, 시스템 생성 출력은 더 우수한 품질을 보여주는 것을 알 수 있습니다.