Note that the above may not be feasible due to the absence of such aligned models, or the fact that it renounces control over the reference model, leading to safety concerns. Instead, we propose'step-wise DPO', named sDPO, where we use the preference datasets (or subsets of a preference dataset) in _a step-by-step manner_ when undergoing DPO training. The aligned model in the previous step is used as the reference model for the current step, which results in utilizing a more aligned reference model (_i.e._, a better lower bound).
이와 같은 정렬된 모델이 없거나 참조 모델에 대한 제어권을 포기하여 안전 문제가 발생할 수 있으므로 위의 방법은 실현 가능하지 않을 수 있습니다. 대신, DPO 학습을 진행할 때 _단계별 방식_으로 선호도 데이터 세트(또는 선호도 데이터 세트의 하위 집합)를 사용하는 '단계별 DPO'를 제안합니다. 이전 단계의 정렬된 모델이 현재 단계의 reference model로 사용되며, 이는 더 정렬된 reference model(_즉, 더 나은 하한선_)을 활용하는 결과를 가져옵니다.
이와 같은 정렬된 모델이 없거나 참조 모델에 대한 제어권을 포기하여 안전 문제가 발생할 수 있으므로 위의 방법은 실현 가능하지 않을 수 있습니다. 대신, DPO 학습을 진행할 때 _단계별 방식_으로 선호도 데이터 세트(또는 선호도 데이터 세트의 하위 집합)를 사용하는 '단계별 DPO'를 제안합니다. 이전 단계의 정렬된 모델이 현재 단계의 기준 모델로 사용되며, 이는 더 정렬된 기준 모델(_즉, 더 나은 하한선)을 활용하는 결과를 가져옵니다.