Bilingual LLMsWe employ Chinese Llama Cui et al. (2023), which extends existing vocabulary and incorporate secondary pre-training using Chinese data and fine-tune the model with Chinese instruction datasets. However, this intensive training can lead to a degradation in performance for languages other than Chinese. As depicted in Figure 5, Chinese predominates as the primary language for thinking processing and knowledge extraction across all languages. Consequently, the absence of language-specific neurons results in the transformation of it into a Chinese-centric LLM.
이중 언어 LLM기존 어휘를 확장하고 중국어 데이터를 사용하여 2차 사전 학습을 통합한 중국어 Llama Cui et al. (2023)을 사용하고 중국어 Instruction 데이터 세트로 모델을 Fine-tuning합니다. 그러나 이러한 집중적인 훈련은 중국어 이외의 언어에 대한 성능 저하로 이어질 수 있습니다. 그림 5에서 볼 수 있듯이 모든 언어에서 중국어가 사고 처리 및 지식 추출의 기본 언어로 우세합니다. 따라서 언어별 뉴런이 없으면 중국어 중심의 LLM으로 변환됩니다.
이중 언어 LLM기존 어휘를 확장하고 중국어 데이터를 사용하여 2차 사전 학습을 통합한 중국어 Llama Cui et al. (2023)을 사용하고 중국어 지침 데이터 세트로 모델을 미세 조정합니다. 그러나 이러한 집중적인 훈련은 중국어 이외의 언어에 대한 성능 저하로 이어질 수 있습니다. 그림 5에서 볼 수 있듯이 모든 언어에서 중국어가 사고 처리 및 지식 추출의 기본 언어로 우세합니다. 따라서 언어별 뉴런이 없으면 중국어 중심의 LLM으로 변환됩니다.