Reference model.The reference model is used to calculate the log probabilities of the preference dataset. For each step, only a subset of the total data is used and the reference model is initialized as \(M_{t-1}\), _i.e,_ the aligned model from the previous step. The initial reference model is set as \(S\), the SFT base model. This results in using a more aligned reference model than conventional DPO.
참조 모델. 참조 모델은 선호 데이터셋의 로그 확률을 계산하는 데 사용됩니다. 각 단계에서는 전체 데이터의 일부만 사용되며, 참조 모델은 이전 단계의 정렬된 모델인 \(M_{t-1}\)로 초기화됩니다. 초기 참조 모델은 SFT 기본 모델인 \(S\)로 설정됩니다. 이는 기존의 DPO보다 더 정렬된 참조 모델을 사용하게 합니다.
참조 모델. 참조 모델은 선호도 데이터 세트의 로그 확률을 계산하는 데 사용됩니다. 각 단계마다 전체 데이터의 하위 집합만 사용되며 참조 모델은 \(M_{t-1}\), _즉, 이전 단계의 정렬된 모델로 초기화됩니다. 초기 참조 모델은 SFT 기본 모델인 \(S\)로 설정됩니다. 이렇게 하면 기존 DPO보다 더 정렬된 참조 모델을 사용할 수 있습니다.