* **Domain knowledge deficit**: A language model may lack comprehensive expertise in a specific domain to which it has not been exposed. For example, a model trained exclusively on texts written by William Shakespeare would perform poorly when asked about the works of Mark Twain. * **Outdated Information**: LLMs invariably have a cutoff date determined by their training dataset. Consequently, any events, discoveries, or changes occurring after the last training update will not be within the model's knowledge without access to external sources. * **Immemorization**: Sometimes, a model is exposed to knowledge during its training process but does not retain it. This is especially true for rare facts that appear in the training dataset only scarcely (Kandpal et al., 2023). * **Forgetting**: Language models often undergo additional training after the pre-training phase (fine-tuning). In some cases, this might lead to a phenomenon called _catastrophic forgetting_(Kirkpatrick et al., 2017; Goodfellow et al., 2013; Chen et al., 2020; Luo et al., 2023), where models lose some of the knowledge they had prior to the fine-tuning process. * **Reasoning Failure**: In certain instances, a language model might possess relevant knowledge about a fact but fail to utilize it properly. This is particularly evident in complex multi-step reasoning tasks (Tan et al., 2023) or when posed with different questions about the same fact, resulting in disparate outcomes (Berglund et al., 2023).
* **도메인 지식 결핍**: 언어 모델은 노출되지 않은 특정 도메인에 대한 포괄적인 전문 지식이 부족할 수 있습니다. 예를 들어, 윌리엄 셰익스피어가 쓴 텍스트로만 학습한 모델은 마크 트웨인의 작품에 대해 질문을 받으면 성능이 저하될 수 있습니다. * **Outdated Information**: LLM은 항상 학습 데이터 세트에 의해 결정된 마감일이 있습니다. 따라서 마지막 학습 업데이트 이후 발생한 모든 이벤트, 발견 또는 변경 사항은 외부 소스에 액세스하지 않고는 모델의 지식에 포함되지 않습니다. * **Immemorization**: 때때로 모델은 학습 과정에서 지식에 노출되지만 이를 기억하지 못합니다. 이는 학습 데이터 세트에 거의 나타나지 않는 희귀한 사실의 경우 특히 그렇습니다(Kandpal et al., 2023). * **Forgetting**: 언어 모델은 사전 학습 단계 이후에 추가 학습(Fine-tuning)을 거치는 경우가 많습니다. 경우에 따라 이로 인해 모델이 Fine-tuning 프로세스 이전의 지식 중 일부를 잃어버리는 'catastrophic forgetting'(Kirkpatrick et al., 2017; Goodfellow et al., 2013; Chen et al., 2020; Luo et al., 2023)이라는 현상이 발생할 수 있습니다. * **Reasoning Failure**: 특정 경우 언어 모델이 사실에 대한 관련 지식을 보유하고 있지만 이를 제대로 활용하지 못할 수 있습니다. 이는 복잡한 다단계 추론 과제(Tan et al., 2023)에서 또는 동일한 사실에 대해 서로 다른 질문을 받았을 때 결과가 상이하게 나타날 때 특히 두드러집니다(Berglund et al., 2023).
* **도메인 지식 결핍**: 언어 모델은 노출되지 않은 특정 도메인에 대한 포괄적인 전문 지식이 부족할 수 있습니다. 예를 들어, 윌리엄 셰익스피어가 쓴 텍스트로만 학습한 모델은 마크 트웨인의 작품에 대해 질문을 받으면 성능이 저하될 수 있습니다. * **구형 정보**: LLM은 항상 학습 데이터 세트에 의해 결정된 마감일이 있습니다. 따라서 마지막 학습 업데이트 이후 발생한 모든 이벤트, 발견 또는 변경 사항은 외부 소스에 액세스하지 않고는 모델의 지식에 포함되지 않습니다. * **기억 상실**: 때때로 모델은 학습 과정에서 지식에 노출되지만 이를 기억하지 못합니다. 이는 학습 데이터 세트에 거의 나타나지 않는 희귀한 사실의 경우 특히 그렇습니다(Kandpal et al., 2023). * **잊어버림**: 언어 모델은 사전 학습 단계 이후에 추가 학습(미세 조정)을 거치는 경우가 많습니다. 경우에 따라 이로 인해 모델이 미세 조정 프로세스 이전의 지식 중 일부를 잃어버리는 '재앙적 망각'(Kirkpatrick et al., 2017; Goodfellow et al., 2013; Chen et al., 2020; Luo et al., 2023)이라는 현상이 발생할 수 있습니다. * **추론 실패**: 특정 경우 언어 모델이 사실에 대한 관련 지식을 보유하고 있지만 이를 제대로 활용하지 못할 수 있습니다. 이는 복잡한 다단계 추론 과제(Tan et al., 2023)에서 또는 동일한 사실에 대해 서로 다른 질문을 받았을 때 결과가 상이하게 나타날 때 특히 두드러집니다(Berglund et al., 2023).