Our work examines the forgetting occurrence during continual pre-training on an existing fine-tuned LLM. Our paper primarily focuses on continual pre-training using the Traditional Chinese corpus. We evaluate the impact of continual pre-training across various dimensions, including output format, knowledge, and reliability. We show that more than straightforward methods are required for resolving this issue. Also, we observe an increased prominence of the repetition problem in models that tend to generate Traditional Chinese outputs. Lastly, despite continual pre-training, our findings suggest that the model's knowledge remains unaffected while its reliability declines.
저희 연구는 기존의 Fine-tuned LLM에 대한 지속적인 사전 학습 중에 발생하는 잊어버림 현상을 조사합니다. 저희 논문은 주로 Traditional Chinese corpus를 사용한 지속적 사전 학습에 초점을 맞추고 있습니다. 저희는 출력 형식, 지식, 신뢰성 등 다양한 차원에서 지속적인 사전 학습의 영향을 평가합니다. 이 문제를 해결하기 위해서는 단순한 방법 이상의 것이 필요하다는 것을 보여줍니다. 또한 Traditional Chinese 출력을 생성하는 경향이 있는 모델에서 반복 문제의 중요성이 증가하는 것을 관찰했습니다. 마지막으로, 지속적인 사전 학습에도 불구하고 모델의 지식은 영향을 받지 않는 반면 신뢰성은 저하되는 것으로 나타났습니다.
저희 연구는 기존의 미세 조정된 LLM에 대한 지속적인 사전 학습 중에 발생하는 잊어버림 현상을 조사합니다. 저희 논문은 주로 중국어 말투 말뭉치를 사용한 지속적 사전 학습에 초점을 맞추고 있습니다. 저희는 출력 형식, 지식, 신뢰성 등 다양한 차원에서 지속적인 사전 학습의 영향을 평가합니다. 이 문제를 해결하기 위해서는 단순한 방법 이상의 것이 필요하다는 것을 보여줍니다. 또한 중국어 출력을 생성하는 경향이 있는 모델에서 반복 문제의 중요성이 증가하는 것을 관찰했습니다. 마지막으로, 지속적인 사전 학습에도 불구하고 모델의 지식은 영향을 받지 않는 반면 신뢰성은 저하되는 것으로 나타났습니다.