In our experimental setup, dis-preferred data, though originating from strong translation models, receives the lowest scores when compared with two other translation outputs. A pertinent question arises: does the quality of dis-preferred data significantly impact model performance, and can high-quality (albeit imperfect) dis-preferred data aid in translation improvement? To explore this, we constructed a new set of preference data where the dis-preferred translations (\(y_{l}\)) are artificially generated, as opposed to being naturally derived high-quality translations.
실험 설정에서 dis-preferred 데이터는 강력한 번역 모델에서 생성되었지만 다른 두 번역 결과와 비교할 때 가장 낮은 점수를 받습니다. 당연한 질문은 dis-preferred 데이터의 품질이 모델 성능에 큰 영향을 미치는지, 그리고 완벽하지는 않지만 품질이 높은 dis-preferred 데이터가 번역 개선에 도움이 될 수 있는지에 대한 것입니다. 이를 탐구하기 위해 dis-preferred 번역(\(y_{l}\))이 자연적으로 도출된 고품질 번역이 아닌 인위적으로 생성된 선호도 데이터 세트를 새로 만들었습니다.
실험 설정에서 선호되지 않는 데이터는 강력한 번역 모델에서 생성되었지만 다른 두 번역 결과와 비교할 때 가장 낮은 점수를 받습니다. 당연한 질문은 선호되지 않는 데이터의 품질이 모델 성능에 큰 영향을 미치는지, 그리고 완벽하지는 않지만 품질이 높은 선호되지 않는 데이터가 번역 개선에 도움이 될 수 있는지에 대한 것입니다. 이를 탐구하기 위해 선호되지 않는 번역(\(y_{l}\))이 자연적으로 도출된 고품질 번역이 아닌 인위적으로 생성된 선호도 데이터 세트를 새로 만들었습니다.