**Motivation: Help The Model Learn Rejection** The aforementioned findings illustrate that translations produced by advanced models can sometimes surpass the quality of gold standard references. This raises the question of how to effectively utilize such data. A straightforward approach would involve fine-tuning the model using the source and the superior translations as references. While this could enhance the model's translation abilities, it does not equip the model with the discernment to identify and avoid generating suboptimal translations, exemplified by the "good but not perfect" translations depicted in Figure 2. Consequently, this situation motivates us to develop a new training objective, which aims to instruct the model in prioritizing the generation of higher-quality translations and rejecting lesser ones, in a style of contrastive learning with hard negative examples (Oord et al., 2018; Chen et al., 2020; He et al., 2020; Robinson et al., 2021; Tan et al., 2023). This objective moves beyond the traditional focus on merely minimizing cross-entropy loss towards the reference.
**동기 부여: 모델이 거부를 학습하도록 돕기** 앞서 언급한 연구 결과는 고급 모델에서 생성된 번역이 때때로 골드 표준 참조의 품질을 능가할 수 있음을 보여줍니다. 이는 이러한 데이터를 효과적으로 활용하는 방법에 대한 의문을 제기합니다. 간단한 접근 방식은 소스와 우수한 번역을 참조로 사용하여 모델을 Fine-tuning하는 것입니다. 이렇게 하면 모델의 번역 능력이 향상될 수 있지만, 그림 2에 표시된 '좋지만 완벽하지 않은' 번역과 같이 모델이 최적이 아닌 번역을 식별하고 생성하지 않도록 하는 식별력을 갖추지는 못합니다. 따라서 이러한 상황은 모델이 더 높은 품질의 번역을 우선적으로 생성하고 더 낮은 품질의 번역을 거부하도록 지시하는 새로운 훈련 Objective를 개발하도록 동기를 부여하며, 하드 네거티브 예제를 사용한 대조 학습 방식으로 (Oord et al., 2018; Chen et al., 2020; He et al., 2020; Robinson et al., 2021; Tan et al., 2023). 이 Objective는 단순히 교차 엔트로피 Loss를 최소화하는 전통적인 접근 방식에서 벗어나 참조에 초점을 맞추고 있습니다.
**동기 부여: 모델이 거부를 학습하도록 돕기** 앞서 언급한 연구 결과는 고급 모델에서 생성된 번역이 때때로 골드 표준 참조의 품질을 능가할 수 있음을 보여줍니다. 이는 이러한 데이터를 효과적으로 활용하는 방법에 대한 의문을 제기합니다. 간단한 접근 방식은 소스와 우수한 번역을 참조로 사용하여 모델을 미세 조정하는 것입니다. 이렇게 하면 모델의 번역 능력이 향상될 수 있지만, 그림 2에 표시된 '좋지만 완벽하지 않은' 번역과 같이 모델이 최적이 아닌 번역을 식별하고 생성하지 않도록 하는 식별력을 갖추지는 못합니다. 따라서 이러한 상황은 모델이 더 높은 품질의 번역을 우선적으로 생성하고 더 낮은 품질의 번역을 거부하도록 지시하는 새로운 훈련 목표를 개발하도록 동기를 부여하며, 하드 네거티브 예제를 사용한 대조 학습 방식으로 (Oord et al., 2018; Chen et al., 2020; He et al., 2020; Robinson et al., 2021; Tan et al., 2023). 이 목표는 단순히 교차 엔트로피 손실을 최소화하는 전통적인 접근 방식에서 벗어나 참조에 초점을 맞추고 있습니다.