**Chinese LLaMA**[12]: Chinese LLaMA is an extension of the original LLaMA, designed to enhance its capability in understanding and generating Chinese text. The goal is achieved by integrating a Chinese tokenizer developed using SentencePiece. This tokenizer, with a vocabulary size of \(49,953\), enables improved handling of Chinese characters. In addition, it employs parameter-efficient fine-tuning techniques [13] to reduce memory consumption during model training. In our experiments, we consider Chinese LLaMA 7B Plus, which is trained on a corpus of approximately 120GB in size, equivalent to around 30 billion Chinese tokens.
**중국어 LLaMA**[12]: 중국어 LLaMA는 중국어 텍스트를 이해하고 생성하는 기능을 향상시키기 위해 설계된 원래 LLaMA의 확장입니다. 이 목표는 SentencePiece를 사용하여 개발된 중국어 tokenizer를 통합함으로써 달성됩니다. 어휘 크기가 \(49,953\)인 이 tokenizer는 한자를 더 잘 처리할 수 있게 해줍니다. 또한, parameter-efficient Fine-tuning 기술 [13]을 사용하여 모델 학습 중 메모리 소비를 줄입니다. 실험에서는 약 120GB 크기의 코퍼스(중국어 토큰 약 300억 개)에 대해 학습된 중국어 LLaMA 7B Plus를 고려합니다.
**중국어 LLaMA**[12]: 중국어 LLaMA는 중국어 텍스트를 이해하고 생성하는 기능을 향상시키기 위해 설계된 원래 LLaMA의 확장입니다. 이 목표는 SentencePiece를 사용하여 개발된 중국어 토큰화기를 통합함으로써 달성됩니다. 어휘 크기가 \(49,953\)인 이 토큰화기는 한자를 더 잘 처리할 수 있게 해줍니다. 또한, 파라미터 효율적인 미세 조정 기술 [13]을 사용하여 모델 학습 중 메모리 소비를 줄입니다. 실험에서는 약 120GB 크기의 코퍼스(중국어 토큰 약 300억 개)에 대해 학습된 중국어 LLaMA 7B Plus를 고려합니다.