In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-dominant corpus, which limits their performance in other non-English languages. In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. To answer this question, we conduct an extensive empirical investigation based on LLaMA, accumulating over 1440 GPU hours. We analyze the impact of key factors such as vocabulary extension, further pretraining, and instruction tuning on transfer. To accurately assess the model's level of knowledge, we employ four widely used standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench. Furthermore, a comprehensive evaluation of the model's response quality is conducted, considering aspects such as accuracy, fluency, informativeness, logical coherence, and harmlessness, based on LLM-Eval, a benchmarks consisting instruction tasks from 17 diverse categories. Our evaluation results demonstrate that comparable performance to state-of-the-art transfer models can be achieved with less than \(1\%\) of the pretraining data, both in terms of knowledge alignment and response quality. Furthermore, the experimental outcomes across the thirteen low-resource languages also exhibit similar trends. We anticipate that the conclusions revealed by the experiments will aid the community in developing non-English LLMs.
최근에는 ChatGPT를 대표로 하는 Large Language Models (LLMs)이 크게 발전하여 다양한 복잡한 작업에서 뛰어난 능력을 보여주고 있습니다. 하지만 많은 주류 LLMs (예: LLaMA)은 영어가 지배적인 코퍼스로 사전 학습되어 다른 비영어 언어에서 성능이 제한됩니다. 이 백서에서는 언어 생성 및 Instruction 수행 기능을 비영어 언어로 효과적으로 전송하는 방법에 초점을 맞추고 있습니다. 이 질문에 답하기 위해 LLaMA를 기반으로 1440시간 이상의 GPU 시간을 축적하여 광범위한 실증 조사를 수행했습니다. 어휘 확장, 추가 사전 학습, Instruction Tuning과 같은 주요 요소가 전송에 미치는 영향을 분석합니다. 모델의 지식 수준을 정확하게 평가하기 위해 널리 사용되는 4가지 표준화 테스트 벤치마크인 C-Eval, MMLU, AGI-Eval, GAOKAO-Bench를 사용합니다. 또한 17개의 다양한 카테고리의 Instruction 과제로 구성된 벤치마크인 LLM-Eval을 기반으로 정확성, 유창성, 유익성, 논리적 일관성, 무해성 등의 측면을 고려하여 모델의 응답 품질에 대한 종합적인 평가를 수행합니다. 평가 결과, 지식 정렬과 응답 품질 측면에서 사전 학습 데이터의 1% 미만으로도 최신 전송 모델과 비슷한 성능을 달성할 수 있음을 보여주었습니다. 또한 13개의 저자원 언어에 대한 실험 결과도 유사한 추세를 보였습니다. 실험을 통해 밝혀진 결론이 비영어 LLMs을 개발하는 데 도움이 되기를 기대합니다.
최근에는 ChatGPT를 대표로 하는 대규모 언어 모델(LLM)이 크게 발전하여 다양한 복잡한 작업에서 뛰어난 능력을 보여주고 있습니다. 하지만 많은 주류 LLM(예: LLaMA)은 영어가 지배적인 코퍼스로 사전 학습되어 다른 비영어 언어에서 성능이 제한됩니다. 이 백서에서는 언어 생성 및 명령어 수행 기능을 비영어 언어로 효과적으로 전송하는 방법에 초점을 맞추고 있습니다. 이 질문에 답하기 위해 LLaMA를 기반으로 1440시간 이상의 GPU 시간을 축적하여 광범위한 실증 조사를 수행했습니다. 어휘 확장, 추가 사전 학습, 명령어 튜닝과 같은 주요 요소가 전송에 미치는 영향을 분석합니다. 모델의 지식 수준을 정확하게 평가하기 위해 널리 사용되는 4가지 표준화 테스트 벤치마크인 C-Eval, MMLU, AGI-Eval, GAOKAO-Bench를 사용합니다. 또한 17개의 다양한 카테고리의 명령어 과제로 구성된 벤치마크인 LLM-Eval을 기반으로 정확성, 유창성, 유익성, 논리적 일관성, 무해성 등의 측면을 고려하여 모델의 응답 품질에 대한 종합적인 평가를 수행합니다. 평가 결과, 지식 정렬과 응답 품질 측면에서 사전 학습 데이터의 1% 미만으로도 최신 전송 모델과 비슷한 성능을 달성할 수 있음을 보여주었습니다. 또한 13개의 저자원 언어에 대한 실험 결과도 유사한 추세를 보였습니다. 실험을 통해 밝혀진 결론이 비영어 LLM을 개발하는 데 도움이 되기를 기대합니다.