After SFT, we employ DPO (Rafailov et al., 2024) for human preference alignment of the model. During this stage, UltraFeedback (Cui et al., 2023) is utilized as the primary alignment dataset, and an proprietary preference dataset is constructed to enhance the model's code and mathematical capabilities. We conduct one epoch of DPO training with a learning rate of \(1\times 10^{-5}\) and utilize a Cosine LRS since we have a pre-defined training steps.
SFT 이후, 우리는 모델의 인간 선호도 정렬을 위해 DPO(Rafailov et al., 2024)를 사용합니다. 이 단계에서는 UltraFeedback(Cui et al., 2023)을 주요 정렬 데이터 세트로 활용하고, 모델의 코드 및 수학적 기능을 향상시키기 위해 독점적인 선호도 데이터 세트를 구축합니다. 사전 정의된 훈련 단계가 있으므로 Learning Rate는 \(1\times 10^{-5}\), Cosine LRS를 사용하여 DPO 훈련을 한 번 수행합니다.
SFT 이후, 우리는 모델의 인간 선호도 정렬을 위해 DPO(Rafailov et al., 2024)를 사용합니다. 이 단계에서는 얼트라피드백(Cui et al., 2023)을 주요 정렬 데이터 세트로 활용하고, 모델의 코드 및 수학적 기능을 향상시키기 위해 독점적인 선호도 데이터 세트를 구축합니다. 사전 정의된 훈련 단계가 있으므로 학습 속도는 \(1\times 10^{-5}\), 코사인 LRS를 사용하여 DPO 훈련을 한 번 수행합니다.