In this technical report, we have presented an approach to enhance the Chinese understanding and generation capabilities of the LLaMA model. Acknowledging the limitations of the original LLaMA's Chinese vocabulary, we expanded it by incorporating 20K additional Chinese tokens, significantly increasing its encoding efficiency for the Chinese language. Building on the Chinese LLaMA, we employed supervised fine-tuning with instruction data, resulting in Chinese Alpaca models exhibiting improved instruction-following capabilities.
이 기술 보고서에서는 LLaMA 모델의 중국어 이해 및 생성 기능을 향상시키는 접근 방식을 제시했습니다. 원래 LLaMA의 중국어 어휘가 가지고 있는 한계를 인식하고, 20,000개의 중국어 토큰을 추가로 통합하여 중국어에 대한 인코딩 효율성을 크게 높였습니다. 중국어 LLaMA를 기반으로 instruction 데이터를 사용한 Supervised Fine-tuning을 사용하여 instruction을 따르는 기능이 향상된 중국어 알파카 모델을 만들었습니다.
이 기술 보고서에서는 LLaMA 모델의 중국어 이해 및 생성 기능을 향상시키는 접근 방식을 제시했습니다. 원래 LLaMA의 중국어 어휘가 가지고 있는 한계를 인식하고, 20,000개의 중국어 토큰을 추가로 통합하여 중국어에 대한 인코딩 효율성을 크게 높였습니다. 중국어 LLaMA를 기반으로 지시 데이터를 사용한 지도 미세 조정을 사용하여 지시를 따르는 기능이 향상된 중국어 알파카 모델을 만들었습니다.