However, DPO has notable drawbacks compared to common SFT. Firstly, DPO is **memory-inefficient**: it necessitates twice the memory capacity to simultaneously store both the parameterized policy and the reference policy. Secondly, it is **speed-inefficient**: executing the model sequentially for two policies doubles the processing time. To address these inefficiencies, we introduce contrastive preference optimization.
그러나 DPO는 일반적인 SFT에 비해 주목할 만한 단점이 있습니다. 첫째, DPO는 매개변수화된 정책과 기준 정책을 동시에 저장하기 위해 두 배의 메모리 용량이 필요하기 때문에 **memory-inefficient**입니다. 둘째, 두 정책에 대해 모델을 순차적으로 실행하면 처리 시간이 두 배로 늘어나는 **speed-inefficient**입니다. 이러한 비효율성을 해결하기 위해 contrastive preference optimization을 도입합니다.
그러나 DPO는 일반적인 SFT에 비해 주목할 만한 단점이 있습니다. 첫째, DPO는 매개변수화된 정책과 기준 정책을 동시에 저장하기 위해 두 배의 메모리 용량이 필요하기 때문에 **메모리 비효율적**입니다. 둘째, 두 정책에 대해 모델을 순차적으로 실행하면 처리 시간이 두 배로 늘어나는 **속도 비효율적**입니다. 이러한 비효율성을 해결하기 위해 대조적 선호도 최적화를 도입합니다.