For the basic version of Chinese LLaMA-7B, we utilize a two-stage pre-training approach. In stage 1, we fix the parameters of the transformer encoders within the model and only train the embeddings, adapting the newly added Chinese word vectors while minimizing the disturbance to the original model. In stage 2, we add LoRA weights (adapters) to the attention mechanisms and train the embeddings, LM heads, and newly added LoRA parameters. Note that two-stage training is not applied to other model training as it is less efficient in our preliminary study.
중국어 LLaMA-7B의 기본 버전의 경우, 2단계 사전 학습 접근 방식을 활용합니다. 1단계에서는 모델 내의 Transformer Encoder의 파라미터를 고정하고 임베딩만 학습하여 새로 추가된 중국어 단어 벡터를 적용하는 동시에 원본 모델에 대한 교란을 최소화합니다. 2단계에서는 Attention 메커니즘에 LoRA 가중치(어댑터)를 추가하고 임베딩, LM 헤드 및 새로 추가된 LoRA 파라미터를 학습합니다. 다른 모델 학습에는 2단계 학습이 적용되지 않는데, 이는 예비 연구에서 효율성이 떨어지기 때문입니다.
중국어 LLaMA-7B의 기본 버전의 경우, 2단계 사전 학습 접근 방식을 활용합니다. 1단계에서는 모델 내의 트랜스포머 인코더의 파라미터를 고정하고 임베딩만 학습하여 새로 추가된 중국어 단어 벡터를 적용하는 동시에 원본 모델에 대한 교란을 최소화합니다. 2단계에서는 주의 메커니즘에 LoRA 가중치(어댑터)를 추가하고 임베딩, LM 헤드 및 새로 추가된 LoRA 파라미터를 학습합니다. 다른 모델 학습에는 2단계 학습이 적용되지 않는데, 이는 예비 연구에서 효율성이 떨어지기 때문입니다.