For a given source sentence \(x\), whether translated from or to English, we utilize both GPT-4 and ALMA-13B-LoRA to generate respective translations, denoted as \(y_{\text{grt-4}}\) and \(y_{\text{alma}}\). Together with the original target reference \(y_{\text{ref}}\), this forms a triplet \(\mathbf{y}=(y_{\text{ref}},y_{\text{grt-4}},y_{\text{alma}})\), representing three different translation outputs for the input \(x\). The reference-free evaluation models KIWI-XXL and XCOMET are then employed to score these translations, with the average scores represented as \(\mathbf{s}=(s_{\text{ref}},s_{\text{grt-4}},s_{\text{alma}})\).3 The highest-scoring translation is labeled as the preferred translation \(y_{w}\), and the lowest-scoring as the dis-preferred translation \(y_{l}\), i.e., \(y_{w}=\mathbf{y}_{\arg\max_{i}(\mathbf{s})},y_{l}=\mathbf{y}_{\arg\min_{i}( \mathbf{s})}\), where \(i\) represents the index in the triplet. Translations with intermediate scores are not considered. An illustrative example of this selection process is depicted in Figure 3. It is important to note that even the dis-preferred translations may be of high-quality. The designation 'dis-preferred' indicates that there is still room for improvement, perhaps through the addition of minor details. This approach of using high-quality but not flawless translations as dis-preferred data aids in training the model to refine details and achieve perfection in generated translations.
주어진 소스 문장 \(x\)에 대해, 영어로 번역되었든 영어에서 번역되었든, 우리는 GPT-4와 ALMA-13B-LoRA를 사용하여 각각의 번역을 생성하며, 이를 \(y_{\text{grt-4}}\)와 \(y_{\text{alma}}\)로 나타냅니다. 원본 타겟 참조 \(y_{\text{ref}}\)와 함께, 이는 입력 \(x\)에 대한 세 가지 다른 번역 출력을 나타내는 삼중항 \(\mathbf{y}=(y_{\text{ref}},y_{\text{grt-4}},y_{\text{alma}})\)를 형성합니다. 그런 다음 참조 없는 평가 모델 KIWI-XXL과 XCOMET을 사용하여 이러한 번역을 점수화하며, 평균 점수는 \(\mathbf{s}=(s_{\text{ref}},s_{\text{grt-4}},s_{\text{alma}})\)로 나타냅니다. 가장 높은 점수를 받은 번역은 선호 번역 \(y_{w}\)로, 가장 낮은 점수를 받은 번역은 비선호 번역 \(y_{l}\)로 라벨링됩니다. 즉, \(y_{w}=\mathbf{y}_{\arg\max_{i}(\mathbf{s})},y_{l}=\mathbf{y}_{\arg\min_{i}(\mathbf{s})}\)이며, 여기서 \(i\)는 삼중항의 인덱스를 나타냅니다. 중간 점수를 받은 번역은 고려되지 않습니다. 이 선택 과정의 예시는 Figure 3에 설명되어 있습니다. 비선호 번역조차도 고품질일 수 있다는 점을 주목하는 것이 중요합니다. '비선호'라는 지정은 여전히 개선의 여지가 있음을 나타내며, 아마도 사소한 세부 사항의 추가를 통해서일 것입니다. 고품질이지만 완벽하지 않은 번역을 비선호 데이터로 사용하는 이 접근 방식은 모델이 세부 사항을 다듬고 생성된 번역에서 완벽을 달성하도록 훈련하는 데 도움이 됩니다.
영어에서 번역하든 영어로 번역하든, 주어진 소스 문장 \(x\)에 대해 GPT-4와 ALMA-13B-LoRA를 모두 활용하여 각각의 번역을 생성하며, 이를 \(y_{\text{grt-4}}\)와 \(y_{\text{alma}}\)로 표시합니다. 원래의 대상 참조 \(y_{\text{ref}}\)와 함께 이것은 입력 \(x\)에 대한 세 가지 번역 출력을 나타내는 트리플렛 \(\mathbf{y}=(y_{\text{ref}},y_{\text{grt-4}},y_{\text{alma}})\),를 형성합니다. 그런 다음 참조 없는 평가 모델인 KIWI-XXL과 XCOMET을 사용하여 이러한 번역에 점수를 부여하고 평균 점수를 \(\mathbf{s}=(s_{\text{ref}},s_{\text{grt-4}},s_{\text{alma}})\)로 표현합니다.3 가장 높은 점수를 받은 번역은 선호 번역 \(y_{w}\), 가장 낮은 점수를 받은 번역은 비선호 번역 \(y_{l}\), 즉 \(y_{w}=\mathbf{y}_{\arg\max_{i}(\mathbf{s})},y_{l}=\mathbf{y}_{\arg\min_{i}( \mathbf{s})}\), 여기서 \(i\)는 트리플렛의 인덱스를 나타냅니다. 중간 점수를 받은 번역은 고려되지 않습니다. 이 선택 과정의 예시는 그림 3에 나와 있습니다. 선호하지 않는 번역도 고품질일 수 있다는 점에 유의하는 것이 중요합니다. '선호하지 않음'이라는 표시는 사소한 세부 사항을 추가하여 개선할 여지가 있음을 나타냅니다. 완벽하지는 않지만 고품질의 번역을 선호하지 않는 데이터로 사용하는 이러한 접근 방식은 모델이 세부 사항을 개선하고 생성된 번역을 완벽하게 달성하도록 훈련하는 데 도움이 됩니다.