In this study, to gain an initial understanding of the multilingual mechanisms within LLMs, we analyze the decoded embeddings after each layer when processing inputs in various languages other than English. We then classify these embeddings as corresponding to either English or non-English tokens (see details in Appendix A). As illustrated in Figure 1, the models initially represent non-English user instructions in non-English form. However, asthe instructions are processed through the layers of the model, the representation surprisingly becomes English-centric. In the final layers, we observe a reversion to a predominance of non-English embeddings, as the initial instructions are posted in non-English languages. This pattern suggests a complex interplay between languages within LLMs, as they negotiate between instruction fidelity and a possible English-oriented processing bias.
이 연구에서는 LLM 내의 다국어 메커니즘에 대한 초기 이해를 얻기 위해 영어 이외의 다양한 언어로 입력을 처리할 때 각 레이어 이후의 디코딩된 embeddings을 분석합니다. 그런 다음 이러한 embeddings을 영어 또는 비영어 tokens에 해당하는 것으로 분류합니다(자세한 내용은 부록 A 참조). 그림 1과 같이 모델은 처음에 비영어 사용자 instructions을 비영어 형식으로 표현합니다. 그러나 instructions이 모델의 레이어를 통해 처리됨에 따라 표현은 놀랍게도 영어 중심이 됩니다. 최종 레이어에서는 초기 instructions이 비영어로 작성되었기 때문에 비영어 embeddings이 우세하게 나타나는 것으로 관찰됩니다. 이 패턴은 instruction 충실도와 영어 중심 처리 편향성 사이에서 협상하는 LLM 내에서 언어 간의 복잡한 상호 작용을 시사합니다.
이 연구에서는 LLM 내의 다국어 메커니즘에 대한 초기 이해를 얻기 위해 영어 이외의 다양한 언어로 입력을 처리할 때 각 레이어 이후의 디코딩된 임베딩을 분석합니다. 그런 다음 이러한 임베딩을 영어 또는 비영어 토큰에 해당하는 것으로 분류합니다(자세한 내용은 부록 A 참조). 그림 1과 같이 모델은 처음에 비영어 사용자 지침을 비영어 형식으로 표현합니다. 그러나 지침이 모델의 레이어를 통해 처리됨에 따라 표현은 놀랍게도 영어 중심이 됩니다. 최종 레이어에서는 초기 지침이 비영어로 작성되었기 때문에 비영어 임베딩이 우세하게 나타나는 것으로 관찰됩니다. 이 패턴은 지침 충실도와 영어 중심 처리 편향성 사이에서 협상하는 LLM 내에서 언어 간의 복잡한 상호 작용을 시사합니다.