In this method, the FT process is viewed as a direct continuation of the pre-training phase. We start with a saved checkpoint of the original LLM and train it in a causal auto-regressive manner, i.e., predicting the next token. One major difference in comparison to actual pre-training is the learning rate. Usually, one would need a much lower learning rate when continuing the pre-training of the model to avoid catastrophic forgetting (Kirkpatrick et al., 2017).
이 방법에서는 Fine-tuning (FT) 프로세스를 사전 훈련 단계의 직접적인 연속으로 간주합니다. 원래 Large Language Model (LLM)의 저장된 체크포인트로 시작하여 인과적 자동 회귀 방식, 즉 다음 토큰을 예측하는 방식으로 훈련합니다. 실제 사전 훈련과 비교했을 때 가장 큰 차이점은 Learning Rate입니다. 일반적으로 모델의 사전 학습을 계속할 때는 파국적 망각(Kirkpatrick et al., 2017)을 피하기 위해 훨씬 낮은 Learning Rate가 필요합니다.
이 방법에서는 FT 프로세스를 사전 훈련 단계의 직접적인 연속으로 간주합니다. 원래 LLM의 저장된 체크포인트로 시작하여 인과적 자동 회귀 방식, 즉 다음 토큰을 예측하는 방식으로 훈련합니다. 실제 사전 훈련과 비교했을 때 가장 큰 차이점은 학습 속도입니다. 일반적으로 모델의 사전 학습을 계속할 때는 파국적 망각(Kirkpatrick et al., 2017)을 피하기 위해 훨씬 낮은 학습 속도가 필요합니다.