Training details.We use a supervised fine-tuned SOLAR 10.7B (Kim et al., 2023) as our SFT base model \(S\) as it delivers excellent performance with its uncommon 10.7B size. Further, the scarcity of 10.7B sized models leads to the absence of open source models that can be adopted as reference models, making the usage of sDPO more necessary. We use OpenOrca (Mukherjee et al., 2023) (\(\sim 12K\) samples) and Ultrafeedback Cleaned (\(\sim 60K\) samples) (Cui et al., 2023; Ivison et al., 2023) as our preference datasets. The training hyper-parameters closely follow that of Tunstall et al. (2023). We use two steps in sDPO, where we use OpenOrca as dataset \(D_{1}\) in the first step and Ultrafeedback Cleaned as dataset \(D_{2}\) in the second step.
훈련 세부 사항. Supervised Fine-tuned (SFT) SOLAR 10.7B (Kim et al., 2023)를 SFT 기반 모델(S)로 사용하는데, 이 모델은 흔하지 않은 10.7B 크기로 뛰어난 성능을 제공하기 때문입니다. 또한 10.7B 크기의 모델이 드물기 때문에 참조 모델로 채택할 수 있는 오픈 소스 모델이 없기 때문에 sDPO의 사용이 더욱 필요합니다. 선호 데이터 세트로 OpenOrca(Mukherjee et al., 2023)(~ 12K 샘플)와 Ultrafeedback Cleaned(~ 60K 샘플)(Cui et al., 2023; Ivison et al., 2023)을 사용합니다. 훈련 하이퍼파라미터는 Tunstall et al. (2023)의 것을 면밀히 따릅니다. sDPO에는 두 단계를 사용하는데, 첫 번째 단계에서는 OpenOrca를 데이터 세트 \(D_{1}\)로 사용하고 두 번째 단계에서는 Ultrafeedback Cleaned를 데이터 세트 \(D_{2}\)로 사용합니다.
훈련 세부 사항. 10.7B(Kim et al., 2023)를 SFT 기반 모델(S)로 사용하는데, 이 모델은 흔하지 않은 10.7B 크기로 뛰어난 성능을 제공하기 때문입니다. 또한 10.7B 크기의 모델이 드물기 때문에 참조 모델로 채택할 수 있는 오픈 소스 모델이 없기 때문에 sDPO의 사용이 더욱 필요합니다. 선호 데이터 세트로 OpenOrca(Mukherjee et al., 2023)(\(~ 12K\) 샘플)와 Ultrafeedback Cleaned(\(~ 60K\) 샘플)(Cui et al., 2023; Ivison et al., 2023)을 사용합니다. 훈련 하이퍼파라미터는 Tunstall et al. (2023)의 것을 면밀히 따릅니다. sDPO에는 두 단계를 사용하는데, 첫 번째 단계에서는 OpenOrca를 데이터 세트 \(D_{1}\)로 사용하고 두 번째 단계에서는 Ultrafeedback Cleaned를 데이터 세트 \(D_{2}\)로 사용합니다.