Notably, but not surprisingly, preference tuning on English datasets even makes the models underperform in Korean tasks. For example, LLaMA-2-chat variants, which are the preference-tuned version of LLaMA-2 checkpoints, show improved performances in English tasks (Llama-2-7b 0.7774 \(\rightarrow\) LLama-2-7b-chat 0.7976 in English BoolQ), while underperforming in Korean tasks (Llama-2-7b 0.5242 \(\rightarrow\) LLama-2-7b-chat 0.5157 in Korean BoolQ), which highlights the importance of Korean-specific training for LLMs. On the other hand, we observe that preference tuning our models on Korean instruction datasets doesn't hurt the model performance in English tasks, rather even improving it. We posit that it is because the embedding spaces are already well-aligned between Korean and English tokens, thus fine-tuning on a specific language doesn't incur a significant change in model parameters.
놀랍게도 영어 데이터 세트에 대한 preference tuning은 모델이 한국어 작업에서 실적을 떨어뜨리기도 합니다. 예를 들어, LLaMA-2 체크포인트의 preference-tuned 버전인 LLaMA-2-chat 변형은 영어 작업(영어 BoolQ에서 LLaMA-2-7b 0.7774 \(\rightarrow\) LLaMA-2-7b-chat 0.7976)에서 향상된 성능을 보이는 반면, 한국어 작업(한국어 BoolQ에서 LLaMA-2-7b 0.5242 \(\rightarrow\) LLaMA-2-7b-chat 0.5157)에서는 성능이 저하되는 것으로 나타나 LLM에 대한 한국어-specific training의 중요성을 강조합니다. 반면에 한국어 instruction 데이터 세트에 대한 모델 preference tuning이 영어 작업에서 모델 성능에 해를 끼치지 않고 오히려 성능을 향상시키는 것을 관찰할 수 있습니다. 임베딩 공간이 이미 한국어와 영어 토큰 간에 잘 정렬되어 있기 때문에 특정 언어에 대해 Fine-tuning해도 모델 파라미터에 큰 변화가 발생하지 않기 때문이라고 생각합니다.
놀랍게도 영어 데이터 세트에 대한 선호도 튜닝은 모델이 한국어 작업에서 실적을 떨어뜨리기도 합니다. 예를 들어, LLaMA-2 체크포인트의 선호도 튜닝 버전인 LLaMA-2-chat 변형은 영어 작업(영어 BoolQ에서 LLaMA-2-7b 0.7774 \(\rightarrow\) LLaMA-2-7b-chat 0.7976)에서 향상된 성능을 보이는 반면, 한국어 작업(한국어 BoolQ에서 LLaMA-2-7b 0.5242 \(\rightarrow\) LLaMA-2-7b-chat 0.5157)에서는 성능이 저하되는 것으로 나타나 LLM에 대한 한국어 특화 교육의 중요성을 강조합니다. 반면에 한국어 명령어 데이터 세트에 대한 모델 선호도 튜닝이 영어 작업에서 모델 성능에 해를 끼치지 않고 오히려 성능을 향상시키는 것을 관찰할 수 있습니다. 임베딩 공간이 이미 한국어와 영어 토큰 간에 잘 정렬되어 있기 때문에 특정 언어에 대해 미세 조정해도 모델 파라미터에 큰 변화가 발생하지 않기 때문이라고 생각합니다.