Adopting open source models as reference models could be dangerous.We also show mean \(\gamma_{\pi_{ref}}\) of \(M_{2}\), the aligned model from step 2 of sDPO. Unlike \(S\) and \(M_{1}\), \(M_{2}\) is trained on the Ultrafeedback Cleaned dataset, _i.e.,_\(M_{2}\) is used as a reference model on data that was already used to train it. Note that such a case could happen commonly when adopting various open source models as reference models. This is because the datasets that were used in training those models are often unclear and could overlap with the preference datasets unintentionally. Mean \(\gamma_{\pi_{ref}}\) of \(M_{2}\) is \(84.35\), which is staggeringly higher than either \(S\) or \(M_{1}\). The strikingly high value for \(M_{2}\) likely points to overfitting of \(M_{2}\) to the Ultrafeedback Cleaned dataset. This result highlights the potential danger of merely adopting open source models as reference models instead of using sDPO.
오픈 소스 모델을 참조 모델로 채택하는 것은 위험할 수 있습니다. 또한 sDPO의 2단계에서 추출한 정렬된 모델인 \(M_{2}\)의 평균 \(\gamma_{\pi_{ref}}\)를 보여줍니다. \(S\)와 \(M_{1}\)과 달리 \(M_{2}\)는 Ultrafeedback Cleaned 데이터 세트에서 학습되며, 즉, \(M_{2}\)는 이미 학습하는 데 사용된 데이터에 대한 참조 모델로 사용됩니다. 이러한 경우는 다양한 오픈 소스 모델을 참조 모델로 채택할 때 일반적으로 발생할 수 있습니다. 이러한 모델을 학습하는 데 사용된 데이터 세트가 불분명하고 의도치 않게 선호 데이터 세트와 겹칠 수 있기 때문입니다. \(M_{2}\)의 평균 \(\gamma_{\pi_{ref}}\)는 \(84.35\)로, \(S\) 또는 \(M_{1}\)보다 눈에 띄게 높습니다. \(M_{2}\)의 값이 눈에 띄게 높은 것은 Ultrafeedback Cleaned 데이터 세트에 대한 \(M_{2}\)의 과적합을 가리킬 가능성이 높습니다. 이 결과는 단순히 오픈 소스 모델을 참조 모델로 채택하는 것보다 sDPO를 사용하는 것이 얼마나 위험한지 잘 보여줍니다.
오픈 소스 모델을 참조 모델로 채택하는 것은 위험할 수 있습니다. 또한 sDPO의 2단계에서 추출한 정렬된 모델인 \(M_{2}\)의 평균 \(\gamma_{\pi_{ref}}\)를 보여줍니다. S\)와 \(M_{1}\)과 달리 \(M_{2}\)는 Ultrafeedback Cleaned 데이터 세트에서 학습되며, 즉, \(M_{2}\)는 이미 학습하는 데 사용된 데이터에 대한 참조 모델로 사용됩니다. 이러한 경우는 다양한 오픈 소스 모델을 참조 모델로 채택할 때 일반적으로 발생할 수 있습니다. 이러한 모델을 학습하는 데 사용된 데이터 세트가 불분명하고 의도치 않게 선호 데이터 세트와 겹칠 수 있기 때문입니다. M_{2}\)의 평균 \(\감마_{\pi_{ref}}\)는 \(84.35\)로, \(S\) 또는 \(M_{1}\)보다 눈에 띄게 높습니다. M_{2}\)의 값이 눈에 띄게 높은 것은 Ultrafeedback Cleaned 데이터 세트에 대한 \(M_{2}\)의 과적합을 가리킬 가능성이 높습니다. 이 결과는 단순히 오픈 소스 모델을 참조 모델로 채택하는 것보다 sDPO를 사용하는 것이 얼마나 위험한지 잘 보여줍니다.