Recent advances in Large Language Models (LLMs) have exhibited remarkable proficiency across various tasks. Given the potent applications of LLMs in numerous fields, there has been a surge in LLM development. In developing LLMs, a common practice involves continual pre-training on previously fine-tuned models. However, this can lead to catastrophic forgetting. In our work, we investigate the phenomenon of forgetting that occurs during continual pre-training on an existing fine-tuned LLM. We evaluate the impact of continuous pre-training on the fine-tuned LLM across various dimensions, including output format, knowledge, and reliability. Experiment results highlight the non-trivial challenge of addressing catastrophic forgetting during continual pre-training, especially the repetition issue.
최근 Large Language Models (LLMs)의 발전은 다양한 작업에서 놀라운 능력을 발휘하고 있습니다. 다양한 분야에서 LLM의 강력한 응용 가능성이 제시됨에 따라 LLM 개발이 급증하고 있습니다. LLM을 개발할 때, 미리 Fine-tuning된 모델에 대한 사전 학습을 지속적으로 수행하는 것이 일반적입니다. 그러나 이는 치명적인 망각을 초래할 수 있습니다. 이 연구에서는 기존의 Fine-tuning된 LLM에 대한 지속적인 사전 학습 중에 발생하는 망각 현상을 조사합니다. 우리는 Fine-tuning된 LLM에 대한 지속적인 사전 학습이 출력 형식, 지식, 신뢰성 등 다양한 차원에서 미치는 영향을 평가합니다. 실험 결과는 특히 반복 문제와 같은 지속적인 사전 학습 중 치명적인 망각을 해결하는 데 있어 사소한 문제가 아니라는 점을 강조합니다.
최근 대규모 언어 모델(LLM)의 발전은 다양한 작업에서 놀라운 능력을 발휘하고 있습니다. 다양한 분야에서 LLM의 강력한 응용 가능성이 제시됨에 따라 LLM 개발이 급증하고 있습니다. LLM을 개발할 때, 미리 미세 조정된 모델에 대한 사전 학습을 지속적으로 수행하는 것이 일반적입니다. 그러나 이는 치명적인 망각을 초래할 수 있습니다. 이 연구에서는 기존의 미세 조정된 LLM에 대한 지속적인 사전 학습 중에 발생하는 망각 현상을 조사합니다. 우리는 미세 조정된 LLM에 대한 지속적인 사전 학습이 출력 형식, 지식, 신뢰성 등 다양한 차원에서 미치는 영향을 평가합니다. 실험 결과는 특히 반복 문제와 같은 지속적인 사전 학습 중 치명적인 망각을 해결하는 데 있어 사소한 문제가 아니라는 점을 강조합니다.