We also report evaluation results for ablated models in Tab. 2. 'SOLAR 10.7B + SFT + DPO' uses all the DPO data at once, _i.e.,_\(D_{1}+D_{2}\), same as the conventional DPO training setup. 'SOLAR 10.7B + SFT + sDPO Strat.' uses stratified sampling to sample \(\sim 16.67\%\) of the data points from the union of OpenOrca and Ultrafeedback Cleaned to form \(D_{1}\) and use the remaining \(\sim 83.33\%\) as \(D_{2}\) to mirror the dataset size of \(D_{1}\) and \(D_{2}\) used in SOLAR 10.7B + SFT + sDPO.
Tab. 2에서 ablated 모델에 대한 평가 결과도 보고합니다. 'SOLAR 10.7B + SFT + DPO'는 기존의 DPO 훈련 설정과 동일하게 모든 DPO 데이터를 한 번에 사용합니다, _즉,_ \(D_{1}+D_{2}\). 'SOLAR 10.7B + SFT + sDPO Strat.'는 OpenOrca와 Ultrafeedback Cleaned의 결합에서 데이터 포인트의 약 16.67%를 샘플링하여 \(D_{1}\)을 형성하고 나머지 약 83.33%를 \(D_{2}\)로 사용하여 SOLAR 10.7B + SFT + sDPO에서 사용된 \(D_{1}\)와 \(D_{2}\)의 데이터셋 크기를 반영합니다.
또한 표 2에 절제된 모델에 대한 평가 결과를 보고합니다. 'SOLAR 10.7B + SFT + DPO'는 기존 DPO 훈련 설정과 동일하게 모든 DPO 데이터를 한 번에 사용합니다. 'SOLAR 10.7B + SFT + sDPO Strat.'는 계층화된 샘플링을 사용하여 OpenOrca와 Ultrafeedback Cleaned의 Union에서 데이터 포인트의 \(\sim 16.67\%\)를 샘플링하여 \(D_{1}\)를 형성하고 나머지 \(\sim 83.33\%\)를 \(D_{2}\)로 사용하여 SOLAR 10.7B + SFT + sDPO에서 사용된 \(D_{1}\) 및 \(D_{2}\)의 데이터 세트 크기를 반영합니다.