We observe that most of these issues arise during the pre-training phase, with catastrophic forgetting being the notable exception. Hence, many LLMs will suffer from factual errors of this kind regardless of any post-training process.
이러한 문제의 대부분은 pre-training 단계에서 발생하며, catastrophic forgetting이 대표적인 예외라는 것을 알 수 있습니다. 따라서 많은 LLMs은 사후 훈련 과정에 관계없이 이러한 종류의 사실 오류로 인해 어려움을 겪게 됩니다.
이러한 문제의 대부분은 사전 학습 단계에서 발생하며, 재앙적 망각이 대표적인 예외라는 것을 알 수 있습니다. 따라서 많은 LLM은 사후 훈련 과정에 관계없이 이러한 종류의 사실 오류로 인해 어려움을 겪게 됩니다.