As development of large language models (LLM) progresses, aligning them with human preferences has become increasingly important. We propose stepwise DPO (sDPO), an extension of the recently popularized direct preference optimization (DPO) for alignment tuning. This approach involves dividing the available preference datasets and utilizing them in a stepwise manner, rather than employing it all at once. We demonstrate that this method facilitates the use of more precisely aligned reference models within the DPO training framework. Furthermore, sDPO trains the final model to be more performant, even outperforming other popular LLMs with more parameters.
대규모 언어 모델(LLM)의 개발이 진행됨에 따라, 이를 인간의 선호도에 맞추는 것이 점점 더 중요해지고 있습니다. 우리는 alignment tuning을 위해 최근 대중화된 direct preference optimization (DPO)를 확장한 단계적 DPO(sDPO)를 제안합니다. 이 접근 방식은 사용 가능한 선호도 데이터 세트를 나누어 한 번에 모두 사용하는 대신 단계적으로 활용하는 것입니다. 이 방법을 통해 DPO 훈련 프레임워크 내에서 보다 정확하게 정렬된 참조 모델을 사용할 수 있음을 입증합니다. 또한, sDPO는 더 많은 파라미터를 가진 다른 대중적인 LLM보다 더 성능이 뛰어난 최종 모델을 훈련합니다.
대규모 언어 모델(LLM)의 개발이 진행됨에 따라, 이를 인간의 선호도에 맞추는 것이 점점 더 중요해지고 있습니다. 우리는 정렬 튜닝을 위해 최근 대중화된 직접 선호도 최적화(DPO)를 확장한 단계적 DPO(sDPO)를 제안합니다. 이 접근 방식은 사용 가능한 선호도 데이터 세트를 나누어 한 번에 모두 사용하는 대신 단계적으로 활용하는 것입니다. 이 방법을 통해 DPO 훈련 프레임워크 내에서 보다 정확하게 정렬된 참조 모델을 사용할 수 있음을 입증합니다. 또한, sDPO는 더 많은 파라미터를 가진 다른 대중적인 LLM보다 더 성능이 뛰어난 최종 모델을 훈련합니다.