Figure 1: Overview of sDPO where preference datasets are divided to be used in multiple steps. The aligned model from the previous step is used as the reference and target models for the current step. The reference model is used to calculate the log probabilities and the target model is trained using the preference loss of DPO at each step.
그림 1: 선호도 데이터 세트를 여러 단계에서 사용하도록 나눈 sDPO 개요. 이전 단계의 정렬된 모델은 현재 단계의 reference 및 target 모델로 사용됩니다. reference 모델은 로그 확률을 계산하는 데 사용되며, target 모델은 각 단계에서 DPO의 preference loss를 사용하여 학습됩니다.
그림 1: 선호도 데이터 세트를 여러 단계에서 사용하도록 나눈 sDPO 개요. 이전 단계의 정렬된 모델은 현재 단계의 기준 및 대상 모델로 사용됩니다. 기준 모델은 로그 확률을 계산하는 데 사용되며, 대상 모델은 각 단계에서 DPO의 선호도 손실을 사용하여 학습됩니다.