Large Language Models (LLMs), such as ChatGPT and GPT-4, have dramatically transformed natural language processing research and shown promising strides towards Artificial General Intelligence (AGI). Nonetheless, the high costs associated with training and deploying LLMs present substantial obstacles to transparent, accessible academic research. While several large language models, such as LLaMA, have been open-sourced by the community, these predominantly focus on English corpora, limiting their usefulness for other languages. In this paper, we propose a method to augment LLaMA with capabilities for understanding and generating Chinese text and its ability to follow instructions. We achieve this by extending LLaMA's existing vocabulary with an additional 20,000 Chinese tokens, thereby improving its encoding efficiency and semantic understanding of Chinese. We further incorporate secondary pre-training using Chinese data and fine-tune the model with Chinese instruction datasets, significantly enhancing the model's ability to comprehend and execute instructions. Our experimental results indicate that the newly proposed model markedly enhances the original LLaMA's proficiency in understanding and generating Chinese content. Additionally, the results on the C-Eval dataset yield competitive performance among the models with several times the size of ours.
ChatGPT 및 GPT-4와 같은 Large Language Models (LLMs)은 자연어 처리 연구에 획기적인 변화를 가져왔으며 Artificial General Intelligence (AGI)을 향한 유망한 진전을 보여주었습니다. 그럼에도 불구하고 LLM을 훈련하고 배포하는 데 드는 높은 비용은 투명하고 접근 가능한 학술 연구에 상당한 장애물이 되고 있습니다. LLaMA와 같은 몇몇 Large Language Models은 커뮤니티에 의해 오픈 소스화되었지만, 대부분 영어 말뭉치에 초점을 맞추고 있어 다른 언어에 대한 유용성이 제한적입니다. 이 백서에서는 중국어 텍스트를 이해하고 생성하는 기능과 Instruction을 따르는 기능을 LLaMA에 추가하는 방법을 제안합니다. 이를 위해 LLaMA의 기존 어휘에 20,000개의 중국어 토큰을 추가하여 중국어의 인코딩 효율성과 의미론적 이해력을 향상시킵니다. 또한 중국어 데이터를 사용하여 2차 사전 학습을 통합하고 중국어 Instruction 데이터 세트로 모델을 Fine-tuning하여 모델의 Instruction 이해 및 실행 능력을 크게 향상시킵니다. 실험 결과, 새로 제안된 모델은 중국어 콘텐츠를 이해하고 생성하는 데 있어 기존 LLaMA의 능력을 눈에 띄게 향상시켰습니다. 또한 C-Eval 데이터 세트의 결과는 우리 모델의 몇 배 크기의 모델들 사이에서 경쟁력 있는 성능을 발휘했습니다.
ChatGPT 및 GPT-4와 같은 대규모 언어 모델(LLM)은 자연어 처리 연구에 획기적인 변화를 가져왔으며 인공 일반 지능(AGI)을 향한 유망한 진전을 보여주었습니다. 그럼에도 불구하고 LLM을 훈련하고 배포하는 데 드는 높은 비용은 투명하고 접근 가능한 학술 연구에 상당한 장애물이 되고 있습니다. LLaMA와 같은 몇몇 대규모 언어 모델은 커뮤니티에 의해 오픈 소스화되었지만, 대부분 영어 말뭉치에 초점을 맞추고 있어 다른 언어에 대한 유용성이 제한적입니다. 이 백서에서는 중국어 텍스트를 이해하고 생성하는 기능과 명령어를 따르는 기능을 LLaMA에 추가하는 방법을 제안합니다. 이를 위해 LLaMA의 기존 어휘에 20,000개의 중국어 토큰을 추가하여 중국어의 인코딩 효율성과 의미론적 이해력을 향상시킵니다. 또한 중국어 데이터를 사용하여 2차 사전 학습을 통합하고 중국어 명령어 데이터 세트로 모델을 미세 조정하여 모델의 명령어 이해 및 실행 능력을 크게 향상시킵니다. 실험 결과, 새로 제안된 모델은 중국어 콘텐츠를 이해하고 생성하는 데 있어 기존 LLaMA의 능력을 눈에 띄게 향상시켰습니다. 또한 C-Eval 데이터 세트의 결과는 우리 모델의 몇 배 크기의 모델들 사이에서 경쟁력 있는 성능을 발휘했습니다.