Figure 1: Pretrained LLaMA models, which are primarily trained on English-dominated corpus (as depicted on the left), are not inherently proficient in handling non-English languages. We aim to investigate the necessity of vocabulary extension, further pretraining, and instruction tuning, as well as to what extent they influence the capability transfer. This exploration enables us to efficiently transfer LLaMA’s language capabilities to non-English languages (as illustrated on the right), minimizing costs in the process.
그림 1: Pretrained LLaMA 모델, 주로 영어가 지배적인 코퍼스에서 학습한 모델(왼쪽에 표시된 것처럼)은 본질적으로 비영어 언어를 처리하는 데 능숙하지 않습니다. 우리는 어휘 확장, 추가 pretraining, 그리고 Instruction Tuning의 필요성과 이것이 역량 전달에 어느 정도 영향을 미치는지 조사하고자 합니다. 이러한 탐색을 통해 LLaMA의 언어 기능을 비영어 언어로 효율적으로 전송할 수 있으며, 이 과정에서 비용을 최소화할 수 있습니다(오른쪽에 예시된 것처럼).
그림 1: 주로 영어가 지배적인 코퍼스에서 학습한 사전 학습된 LLaMA 모델(왼쪽에 표시된 것처럼)은 본질적으로 비영어 언어를 처리하는 데 능숙하지 않습니다. 우리는 어휘 확장, 추가 사전 학습, 지시 튜닝의 필요성과 이것이 역량 전달에 어느 정도 영향을 미치는지 조사하고자 합니다. 이러한 탐색을 통해 LLaMA의 언어 기능을 비영어 언어로 효율적으로 전송할 수 있으며, 이 과정에서 비용을 최소화할 수 있습니다(오른쪽에 예시된 것처럼).