Evaluation results for applying sDPO to the SFT base model, along with results for other top-performing models are shown in Tab. 2. Comparing the pretrained-only 'SOLAR 10.7B' to the instruction-tuned 'SOLAR 10.7B + SFT', we can see an increase of \(+5.24\) in terms of H4. Applying sDPO on SOLAR 10.7B + SFT further increases the H4 score upto \(74.31\), an improvement of \(+4.80\). Notably, 'SOLAR 10.7B + SFT + sDPO' outperforms other larger models such as Mikral 8x7B-Instruct-v0.1, despite the smaller number of parameters. This highlights that effective alignment tuning could be the key to unlocking next level performance for smaller LLMs. Further, applying sDPO results in substantially higher score of \(72.45\) for TruthfulQA, which shows the effectiveness of the alignment tuning process.
sDPO를 SFT base 모델에 적용한 평가 결과와 다른 상위 성능 모델에 대한 결과는 표 2에 나와 있습니다. pretrained-only 'SOLAR 10.7B'와 Instruction-tuned 'SOLAR 10.7B + SFT'를 비교하면 H4 측면에서 \(+5.24\)가 증가한 것을 볼 수 있습니다. SOLAR 10.7B + SFT에 sDPO를 적용하면 H4 점수가 최대 \(74.31\)까지 증가하여 \(+4.80\)의 개선을 보입니다. 특히, 'SOLAR 10.7B + SFT + sDPO'는 파라미터 수가 적더라도 Mikral 8x7B-Instruct-v0.1과 같은 더 큰 모델보다 성능이 뛰어납니다. 이는 효과적인 alignment tuning이 소규모 LLM의 차원을 뛰어넘는 성능을 발휘하는 열쇠가 될 수 있음을 강조합니다. 또한, sDPO를 적용하면 TruthfulQA에서 72.45라는 상당히 높은 점수를 얻었으며, 이는 alignment tuning 프로세스의 효과를 보여줍니다.
sDPO를 SFT 기본 모델에 적용한 평가 결과와 다른 상위 성능 모델에 대한 결과는 표 2에 나와 있습니다. 사전 학습만 진행한 'SOLAR 10.7B'와 명령어 튜닝을 진행한 'SOLAR 10.7B + SFT'를 비교하면 H4 측면에서 \(+5.24\)가 증가한 것을 볼 수 있습니다. SOLAR 10.7B + SFT에 sDPO를 적용하면 H4 점수가 최대 \(+4.80\)까지 증가합니다. 특히, 'SOLAR 10.7B + SFT + sDPO'는 파라미터 수가 적더라도 Mikral 8x7B-Instruct-v0.1과 같은 더 큰 모델보다 성능이 뛰어납니다. 이는 효과적인 정렬 튜닝이 소규모 LLM의 차원을 뛰어넘는 성능을 발휘하는 열쇠가 될 수 있음을 강조합니다. 또한, sDPO를 적용하면 진실성 퀴즈에서 72.45라는 상당히 높은 점수를 얻었으며, 이는 정렬 튜닝 프로세스의 효과를 보여줍니다.