Pre-trained language models can hardly follow user instructions and often generate unintended content. This is because the language modeling objective in Equation (2) is predicting the next token, not "follow the instructions and answer the questions" (Ouyang et al., 2022). To align the behavior of language models to the user's intention, one can fine-tune the model to explicitly train it to follow instructions. Stanford Alpaca (Taori et al., 2023) is a LLaMA-based instruction-following model that was trained on 52K instruction-following data generated by the techniques in the Self-Instruct (Wang et al., 2022). We follow the approach in Stanford Alpaca to apply self-instructed fine-tuning on Chinese LLaMA to train an instruction-following model -- Chinese Alpaca.
사전 학습된 언어 모델은 사용자 instructions를 거의 따르지 않으며 의도하지 않은 콘텐츠를 생성하는 경우가 많습니다. 이는 식 (2)의 언어 모델링 objective가 'instructions를 따르고 질문에 답하기'가 아니라 다음 토큰을 예측하기 때문입니다(Ouyang et al., 2022). 언어 모델의 행동을 사용자의 의도에 맞게 조정하려면 명시적으로 instructions를 따르도록 모델을 Fine-tuning하여 학습시킬 수 있습니다. Stanford Alpaca(Taori et al., 2023)는 Self-Instruct(Wang et al., 2022)의 기술을 통해 생성된 52,000개의 instruction-following 데이터에 대해 학습된 LLaMA 기반 instruction-following 모델입니다. 저희는 Chinese Alpaca라는 instruction-following 모델을 훈련하기 위해 Chinese LLaMA에 self-instructed Fine-tuning 방식을 적용하는 Stanford Alpaca의 접근 방식을 따랐습니다.
사전 학습된 언어 모델은 사용자 지시를 거의 따르지 않으며 의도하지 않은 콘텐츠를 생성하는 경우가 많습니다. 이는 식 (2)의 언어 모델링 목표가 '지시를 따르고 질문에 답하기'가 아니라 다음 토큰을 예측하기 때문입니다(Ouyang et al., 2022). 언어 모델의 행동을 사용자의 의도에 맞게 조정하려면 명시적으로 지시를 따르도록 모델을 미세 조정하여 학습시킬 수 있습니다. Stanford Alpaca(Taori et al., 2023)는 Self-Instruct(Wang et al., 2022)의 기술을 통해 생성된 52,000개의 지시어에 따르는 데이터에 대해 학습된 LLaMA 기반 지시어에 따르는 모델입니다. 저희는 중국어 알파카(Chinese Alpaca)라는 지시어에 따르는 모델을 훈련하기 위해 중국어 LLaMA에 자가 지시 미세 조정 방식을 적용하는 Stanford Alpaca의 접근 방식을 따랐습니다.