Thus, in most practical scenarios, the reference model is simply set as the base SFT model Tunstall et al. (2023); Intel (2023); Ivison et al. (2023), which is a much weaker alternative with potentially misaligned preferences. This reference model acts as _a lower bound_ in DPO, _i.e.,_ the target model is optimized to be at least as aligned as the reference model. Thus, we argue that a reference model that is already more aligned will serve as a better lower bound for DPO training, which would be beneficial for the alignment tuning. One option would be to utilize the plethora of open source models Tunstall et al. (2023); Ivison et al. (2023) that have already undergone alignment tuning.
따라서 대부분의 실제 시나리오에서 기준 모델은 단순히 기본 Supervised Fine-tuning (SFT) 모델 Tunstall et al. (2023); Intel (2023); Ivison et al. (2023)로 설정되며, 이는 잠재적으로 선호도가 잘못 정렬된 훨씬 약한 대안입니다. 이 기준 모델은 DPO에서 _즉, 타겟 모델이 기준 모델만큼 이상 정렬되도록 최적화되는 _하한선_ 역할을 합니다. 따라서 이미 더 잘 정렬된 기준 모델이 DPO 학습을 위한 더 나은 하한선 역할을 할 것이며, 이는 정렬 튜닝에 도움이 될 것이라고 주장합니다. 한 가지 옵션은 이미 정렬 튜닝을 거친 수많은 오픈 소스 모델 Tunstall et al. (2023); Ivison et al. (2023)을 활용하는 것입니다.
따라서 대부분의 실제 시나리오에서 기준 모델은 단순히 기본 SFT 모델 Tunstall et al. (2023); Intel (2023); Ivison et al. (2023)로 설정되며, 이는 잠재적으로 선호도가 잘못 정렬된 훨씬 약한 대안입니다. 이 기준 모델은 DPO에서 _즉, 타겟 모델이 기준 모델만큼 이상 정렬되도록 최적화되는 _하한선_ 역할을 합니다. 따라서 이미 더 잘 정렬된 기준 모델이 DPO 학습을 위한 더 나은 하한선 역할을 할 것이며, 이는 정렬 튜닝에 도움이 될 것이라고 주장합니다. 한 가지 옵션은 이미 정렬 튜닝을 거친 수많은 오픈 소스 모델 Tunstall et al. (2023); Ivison et al. (2023)을 활용하는 것입니다.