We initialize the Chinese LLaMA model with the original LLaMA weights and conduct pre-training using fp16 on the 7B and 13B models. Additionally, for the 33B model, we employ the bitsandbytes4 library to train it in an 8-bit format, enhancing its efficiency and memory usage. We directly apply LoRA to attentions and MLPs for training while setting the embeddings and LM head as trainable.
원래 LLaMA 가중치로 중국어 LLaMA 모델을 초기화하고 7B 및 13B 모델에 대해 fp16을 사용하여 pre-training을 수행합니다. 또한 33B 모델의 경우 bitsandbytes4 라이브러리를 사용하여 8-bit 형식으로 학습하여 효율성과 메모리 사용을 개선합니다. 학습 중에 attention과 MLP에 LoRA를 직접 적용하고 embeddings과 LM head를 trainable로 설정합니다.
원래 LLaMA 가중치로 중국어 LLaMA 모델을 초기화하고 7B 및 13B 모델에 대해 fp16을 사용하여 사전 학습을 수행합니다. 또한 33B 모델의 경우 비트 앤 바이트 4 라이브러리를 사용하여 8비트 형식으로 학습하여 효율성과 메모리 사용을 개선합니다. 학습 중에 어텐션과 MLP에 LoRA를 직접 적용하고 임베딩과 LM 헤드를 학습 가능한 것으로 설정합니다.