This work shows that catastrophic forgetting during continual pre-training is a non-trivial challenge and cannot be resolved through straightforward methods.
이 작업은 지속적인 사전 학습 중 catastrophic forgetting이 사소한 문제가 아니며 간단한 방법으로 해결할 수 없음을 보여준다.
이 작업은 지속적인 사전 학습 중 재앙적 망각이 사소한 문제가 아니며 간단한 방법으로 해결할 수 없음을 보여준다.