In the previous section, we observed that extending the vocabulary had a negative impact on language transferability. A plausible hypothesis is the existence of cross-lingual semantic alignment within LLMs, which vocabulary expansion might disrupt. To validate this alignment hypothesis, we fine-tune LLaMA with a dataset of 1k instructions and examine the model's output. Excitingly, we observed a certain proportion of code-switching samples. As depicted in figure 3, these samples' model responses consist of tokens from multiple languages and are semantically coherent. We have observed that code-switching occurs not only in the transfer process when Chinese is the target language, but also when other 13 low-resource languages are target languages. As shown in figure 4, the proportion of samples with code-switching is approximately between \(2\%\) to \(5\%\). This indicates that LLaMA might have learned cross-lingual alignment relationships between concepts during the pretraining process.
이전 섹션에서는 어휘를 확장하면 언어 전달성에 부정적인 영향을 미친다는 것을 관찰했습니다. 그럴듯한 가설은 LLM 내에서 언어 간 의미론적 정렬이 존재하며, 어휘 확장이 이를 방해할 수 있다는 것입니다. 이 정렬 가설을 검증하기 위해 1k 개의 instructions 데이터 세트로 LLaMA를 Fine-tuning하고 모델의 출력을 검토했습니다. 놀랍게도 일부 코드 스위칭 샘플을 관찰했습니다. 그림 3에 표시된 것처럼, 이러한 샘플의 모델 응답은 여러 언어의 토큰으로 구성되며 의미적으로 일관성이 있습니다. 코드 스위칭은 중국어가 대상 언어인 전송 과정뿐만 아니라 다른 13개의 저자원 언어가 대상 언어일 때에도 발생한다는 것을 관찰했습니다. 그림 4에서 볼 수 있듯이 코드 스위칭이 있는 샘플의 비율은 약 2%에서 5% 사이입니다. 이는 LLaMA가 사전 학습 과정에서 개념 간의 언어 간 정렬 관계를 학습했을 수 있음을 나타냅니다.
이전 섹션에서는 어휘를 확장하면 언어 전달성에 부정적인 영향을 미친다는 것을 관찰했습니다. 그럴듯한 가설은 LLM 내에서 언어 간 의미론적 정렬이 존재하며, 어휘 확장이 이를 방해할 수 있다는 것입니다. 이 정렬 가설을 검증하기 위해 1k 개의 명령어 데이터 세트로 LLaMA를 미세 조정하고 모델의 출력을 검토했습니다. 놀랍게도 일부 코드 스위칭 샘플을 관찰했습니다. 그림 3에 표시된 것처럼, 이러한 샘플의 모델 응답은 여러 언어의 토큰으로 구성되며 의미적으로 일관성이 있습니다. 코드 스위칭은 중국어가 대상 언어인 전송 과정뿐만 아니라 다른 13개의 저자원 언어가 대상 언어일 때에도 발생한다는 것을 관찰했습니다. 그림 4에서 볼 수 있듯이 코드 스위칭이 있는 샘플의 비율은 약 2\%에서 5\% 사이입니다. 이는 LLaMA가 사전 학습 과정에서 개념 간의 언어 간 정렬 관계를 학습했을 수 있음을 나타냅니다.