As the table shows, using Intel-7B-DPO as the reference model results in the best performance, even better than using SOLAR-0-70B, which is a much larger model that was trained with more data. Thus, whether the reference model is pre-aligned or not plays an important role in the resulting aligned model's performance. Unfortunately, it is not always possible to simply use a open sourced pre-aligned model as the reference model due to technical and safety concerns, _i.e.,_ such a model may not exist yet or can be susceptible to various domain-specific harmfulness and fairness criteria. To remedy the above, we propose sDPO, which uses more aligned reference models as a part of the training framework.
표에서 볼 수 있듯이, Intel-7B-DPO를 reference 모델로 사용하면 더 많은 데이터로 학습된 훨씬 더 큰 모델인 SOLAR-0-70B를 사용하는 것보다 더 나은 성능을 발휘합니다. 따라서 reference 모델이 pre-aligned되었는지 여부는 결과 aligned 모델의 성능에 중요한 역할을 합니다. 안타깝게도 기술 및 안전 문제로 인해 open sourced pre-aligned 모델을 reference 모델로 사용하는 것이 항상 가능한 것은 아니며, _예를 들어_ 이러한 모델이 아직 존재하지 않거나 다양한 도메인별 유해성 및 공정성 기준에 취약할 수 있습니다. 위의 문제를 해결하기 위해 보다 aligned된 reference 모델을 훈련 프레임워크의 일부로 사용하는 sDPO를 제안합니다.
표에서 볼 수 있듯이, Intel-7B-DPO를 기준 모델로 사용하면 더 많은 데이터로 학습된 훨씬 더 큰 모델인 SOLAR-0-70B를 사용하는 것보다 더 나은 성능을 발휘합니다. 따라서 기준 모델이 사전 정렬되었는지 여부는 결과 정렬 모델의 성능에 중요한 역할을 합니다. 안타깝게도 기술 및 안전 문제로 인해 개방형 사전 정렬 모델을 기준 모델로 사용하는 것이 항상 가능한 것은 아니며, _예를 들어_ 이러한 모델이 아직 존재하지 않거나 다양한 도메인별 유해성 및 공정성 기준에 취약할 수 있습니다. 위의 문제를 해결하기 위해 보다 정렬된 참조 모델을 훈련 프레임워크의 일부로 사용하는 sDPO를 제안합니다.