After applying DPO for preference alignment, the model's score on MTBench (Zheng et al., 2024) increased from 6.89 after SFT to 7.25, surpassing even large models such as Llama2-70B-Chat (see Figure 13). However, we also noticed that the performance on benchmarks are slightly compromised, which is known as the alignment tax (Askell et al., 2021).
우선순위 정렬을 위해 DPO를 적용한 후 MTBench(Zheng et al., 2024)에서 모델의 점수는 Supervised Fine-tuning (SFT) 이후 6.89점에서 7.25점으로 증가하여 Llama2-70B-Chat과 같은 대규모 모델도 능가했습니다(그림 13 참조). 그러나 벤치마크 성능이 약간 손상되는 현상이 발견되었는데, 이를 alignment tax(Askell et al., 2021)라고 합니다.
우선순위 정렬을 위해 DPO를 적용한 후 MTBench(Zheng et al., 2024)에서 모델의 점수는 SFT 이후 6.89점에서 7.25점으로 증가하여 Llama2-70B-Chat과 같은 대규모 모델도 능가했습니다(그림 13 참조). 그러나 벤치마크 성능이 약간 손상되는 현상이 발견되었는데, 이를 정렬 세금(Askell et al., 2021)이라고 합니다.