Previous studies have demonstrated that continual pre-training can significantly improve the model's ability to understand and generate specific content Gupta et al. (2023). However, continual pre-training could lead to catastrophic forgetting French (1999), and limited research has explored the abilities forgotten during pre-training on an existing fine-tuned LLM.
이전 연구들은 지속적인 사전 훈련이 모델의 특정 콘텐츠를 이해하고 생성하는 능력을 크게 향상시킬 수 있음을 입증했습니다 (Gupta et al., 2023). 그러나 지속적인 사전 훈련은 치명적인 망각을 초래할 수 있으며 (French, 1999), 기존의 미세 조정된 LLM에서 사전 훈련 중에 잊혀진 능력에 대한 연구는 제한적입니다.
이전 연구에서는 지속적인 사전 학습이 특정 콘텐츠를 이해하고 생성하는 모델의 능력을 크게 향상시킬 수 있음을 입증했습니다(Gupta et al., 2023). 그러나 지속적인 사전 학습은 치명적인 망각을 초래할 수 있으며(French, 1999), 기존의 미세 조정된 LLM에 대한 사전 학습 중에 잊혀진 능력을 탐구한 연구는 제한적입니다.