We have noticed that many advancements in fine-tuned variants adhere to a conventional procedure consisting of two key steps: 1. Conduct further continual pre-training on an existing LLM. 2. Carry out subsequent alignment operations, such as Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF), on the model obtained in Step 1. Among these fine-tuned variants, many developments perform further continual pre-training on existing fine-tuned LLMs Cui et al. (2023); Lin and Chen (2023).
미세 조정된 많은 변형이 기존 LLM에 대한 추가 지속적 사전 학습을 수행하는 두 가지 주요 단계로 구성된 기존 절차를 따르는 것을 알 수 있습니다. 1. 기존 LLM에 대한 추가 지속적 사전 학습을 수행합니다. 2. 1단계에서 얻은 모델에 대해 Supervised Fine-Tuning (SFT) 및 Reinforcement Learning from Human Feedback (RLHF)과 같은 후속 정렬 작업을 수행합니다. 이러한 fine-tuned 변형 중 상당수는 기존 fine-tuned LLM에 대한 추가 지속적 사전 학습을 수행합니다(Cui et al. 2023; Lin and Chen 2023).
미세 조정된 많은 변형이 기존 LLM에 대한 추가 지속적 사전 학습을 수행하는 두 가지 주요 단계로 구성된 기존 절차를 따르는 것을 알 수 있습니다. 1. 기존 LLM에 대한 추가 지속적 사전 학습을 수행합니다. 2. 1단계에서 얻은 모델에 대해 지도 미세 조정(SFT) 및 인간 피드백으로부터의 강화 학습(RLHF)과 같은 후속 정렬 작업을 수행합니다. 이러한 미세 조정된 변형 중 상당수는 기존 미세 조정된 LLM에 대한 추가 지속적 사전 학습을 수행합니다(Cui et al. 2023; Lin and Chen 2023).