Typically, the training of instruction following LLMs contains the pre-training stage and the supervised fine-tuning (SFT) stage (Zhang et al., 2023; Wei et al., 2021). In the pre-training stage, the data is composed of large-scale unlabeled data, while in the SFT stage, high-quality labeled data becomes the optimization target.
일반적으로 명령어 수행 LLM의 훈련에는 사전 훈련 단계와 Supervised Fine-tuning (SFT) 단계(Zhang et al., 2023; Wei et al., 2021)가 포함됩니다. 사전 학습 단계에서는 대규모의 라벨이 없는 데이터로 구성되며, SFT 단계에서는 고품질의 라벨이 붙은 데이터가 최적화 대상이 됩니다.
일반적으로 명령어 수행 LLM의 훈련에는 사전 훈련 단계와 지도 미세 조정(SFT) 단계(Zhang et al., 2023; Wei et al., 2021)가 포함됩니다. 사전 학습 단계에서는 대규모의 라벨이 없는 데이터로 구성되며, SFT 단계에서는 고품질의 라벨이 붙은 데이터가 최적화 대상이 됩니다.