Despite the considerable strides made by LLaMA and Alpaca in NLP, they exhibit inherent limitations concerning native support for Chinese language tasks. Their vocabularies contain only a few hundred Chinese tokens, substantially hindering their efficiency in encoding and decoding Chinese text. Building on our previous work with the Chinese BERT series (Cui et al., 2021) and Chinese minority-oriented multilingual pre-trained models (Yang et al., 2022), in this technical report, we propose the development of Chinese LLaMA and Alpaca models with enhanced capabilities for understanding and generating Chinese content. We extend the original LLaMA's vocabulary with an additional 20,000 Chinese tokens, significantly improving its proficiency in processing and generating Chinese text. To ensure efficient training and deployment of these models, we employ the Low-Rank Adaptation (LoRA) approach (Hu et al., 2021), enabling us to train and fine-tune the models without excessive computational costs. We anticipate our preliminary study to enhance the Chinese understanding and generation capabilities of LLaMA and Alpaca serves as a foundation for researchers aiming to adapt these models to other languages. By showcasing the feasibility and effectiveness of our approach, we offer insights and methodologies that can be employed to extend vocabularies and improve the performance of LLaMA and Alpaca models in various languages. An overview of the proposed models is depicted in Figure 1.
LLaMA와 Alpaca는 자연어 처리 분야에서 상당한 발전을 이루었지만, 중국어 작업을 기본적으로 지원하는 데는 여전히 한계가 있습니다. 이들의 어휘에는 수백 개의 중국어 토큰만 포함되어 있어 중국어 텍스트를 인코딩하고 디코딩하는 데 효율성이 현저히 저하됩니다. 이전에 개발한 중국어 BERT 시리즈(Cui et al., 2021)와 중국 소수 민족 중심의 다국어 사전 학습 모델(Yang et al., 2022)을 기반으로, 이번 기술 보고서에서는 중국어 콘텐츠를 이해하고 생성하는 기능을 강화한 중국어 LLaMA와 Alpaca 모델을 개발할 것을 제안합니다. 원래 LLaMA의 어휘를 20,000개의 중국어 토큰으로 확장하여 중국어 텍스트 처리 및 생성 능력을 크게 향상시켰습니다. 이러한 모델을 효율적으로 훈련하고 배포하기 위해 Low-Rank Adaptation (LoRA) 접근 방식(Hu et al., 2021)을 사용하여 과도한 계산 비용 없이 모델을 훈련하고 Fine-tuning할 수 있었습니다. 중국어 이해 및 생성 기능을 강화한 LLaMA와 Alpaca의 예비 연구가 다른 언어에 이 모델을 적용하려는 연구자들에게 밑거름이 될 것으로 기대합니다. 저희의 접근 방식의 타당성과 효과를 입증함으로써 다양한 언어에서 LLaMA와 Alpaca 모델의 어휘를 확장하고 성능을 개선하는 데 사용할 수 있는 인사이트와 방법론을 제공합니다. 제안된 모델에 대한 개요는 그림 1에 나와 있습니다.
LLaMA와 알파카는 자연어 처리 분야에서 상당한 발전을 이루었지만, 중국어 작업을 기본적으로 지원하는 데는 여전히 한계가 있습니다. 이들의 어휘에는 수백 개의 중국어 토큰만 포함되어 있어 중국어 텍스트를 인코딩하고 디코딩하는 데 효율성이 현저히 저하됩니다. 이전에 개발한 중국어 BERT 시리즈(Cui et al., 2021)와 중국 소수 민족 중심의 다국어 사전 학습 모델(Yang et al., 2022)을 기반으로, 이번 기술 보고서에서는 중국어 콘텐츠를 이해하고 생성하는 기능을 강화한 중국어 LLaMA와 알파카 모델을 개발할 것을 제안합니다. 원래 LLaMA의 어휘를 20,000개의 중국어 토큰으로 확장하여 중국어 텍스트 처리 및 생성 능력을 크게 향상시켰습니다. 이러한 모델을 효율적으로 훈련하고 배포하기 위해 저랭도 적응(LoRA) 접근 방식(Hu et al., 2021)을 사용하여 과도한 계산 비용 없이 모델을 훈련하고 미세 조정할 수 있었습니다. 중국어 이해 및 생성 기능을 강화한 LLaMA와 알파카의 예비 연구가 다른 언어에 이 모델을 적용하려는 연구자들에게 밑거름이 될 것으로 기대합니다. 저희의 접근 방식의 타당성과 효과를 입증함으로써 다양한 언어에서 LLaMA와 알파카 모델의 어휘를 확장하고 성능을 개선하는 데 사용할 수 있는 인사이트와 방법론을 제공합니다. 제안된 모델에 대한 개요는 그림 1에 나와 있습니다.