LLMs acquire language generation and instruction-following capabilities through pretraining and instruction tuning. However, English holds a dominant position in the field of natural language processing, possessing the most abundant collection of text data from various domains. LLMs trained on English-dominant corpora exhibit inferior performance on other non-English languages. Extrapolating LLMs to non-English languages poses a highly valuable research challenge. Common extrapolation approaches consist of the following three steps: (1) extending the vocabulary to add tokens of the target language, and thus enhancing encoding expressiveness to that language. (2) further pretraining to transfer language generation capabilities of LLMs to the target language. The required training scale for this step is generally on the order of billions of tokens, significantly less than the trillions of tokens needed for training from scratch. (3) conducting SFT in the target language to transfer instruction-following capabilities of LLMs.
LLM은 사전 학습과 Instruction Tuning을 통해 언어 생성 및 지침 추종 기능을 습득합니다. 그러나 영어는 다양한 영역의 가장 풍부한 텍스트 데이터를 보유하고 있는 자연어 처리 분야에서 지배적인 위치를 차지하고 있습니다. 영어가 지배적인 코퍼라로 학습된 LLM은 다른 비영어 언어에 대해 열등한 성능을 보입니다. LLM을 비영어 언어로 확장하는 것은 매우 가치 있는 연구 과제입니다. 일반적인 외삽 접근 방식은 다음 세 단계로 구성됩니다: (1) 대상 언어의 토큰을 추가하여 어휘를 확장하고, 이를 통해 해당 언어에 대한 인코딩 표현력을 향상시킵니다. (2) LLM의 언어 생성 기능을 대상 언어로 전송하기 위해 추가 사전 학습을 수행합니다. 이 단계에 필요한 훈련 규모는 일반적으로 수십억 개의 토큰 수준으로, 처음부터 훈련하는 데 필요한 수조 개의 토큰보다 훨씬 적습니다. (3) 대상 언어로 SFT를 수행하여 LLM의 지침 추종 기능을 전송합니다.
LLM은 사전 학습과 지침 튜닝을 통해 언어 생성 및 지침 추종 기능을 습득합니다. 그러나 영어는 다양한 영역의 가장 풍부한 텍스트 데이터를 보유하고 있는 자연어 처리 분야에서 지배적인 위치를 차지하고 있습니다. 영어가 지배적인 코퍼라로 학습된 LLM은 다른 비영어 언어에 대해 열등한 성능을 보입니다. LLM을 비영어 언어로 확장하는 것은 매우 가치 있는 연구 과제입니다. 일반적인 외삽 접근 방식은 다음 세 단계로 구성됩니다: (1) 대상 언어의 토큰을 추가하여 어휘를 확장하고, 이를 통해 해당 언어에 대한 인코딩 표현력을 향상시킵니다. (2) LLM의 언어 생성 기능을 대상 언어로 전송하기 위해 추가 사전 학습을 수행합니다. 이 단계에 필요한 훈련 규모는 일반적으로 수십억 개의 토큰 수준으로, 처음부터 훈련하는 데 필요한 수조 개의 토큰보다 훨씬 적습니다. (3) 대상 언어로 SFT를 수행하여 LLM의 지침 추종 기능을 전송합니다.