Previously Seen KnowledgeOne important distinction to make is between knowledge that the model has been exposed to before during pre-training as opposed to entirely new facts. Considering the size of modern LLM training sets, they cover a vast amount of information available through web-sourced text. As a result, even in niche domains, the goal of knowledge injection is not necessarily to teach the model entirely new facts but rather to "refresh" its memory by inducing a bias toward a particular domain.
이전에 접한 지식 모델이 사전 훈련 중에 이미 노출된 지식과 완전히 새로운 사실을 구분하는 것은 중요합니다. 현대 LLM 훈련 세트의 크기를 고려할 때, 이들은 웹에서 수집된 텍스트를 통해 방대한 양의 정보를 포함하고 있습니다. 그 결과, 심지어 틈새 도메인에서도 지식 주입의 목표는 반드시 모델에게 완전히 새로운 사실을 가르치는 것이 아니라 특정 도메인에 대한 편향을 유도하여 모델의 기억을 "새롭게" 하는 것입니다.
이전에 본 지식한 가지 중요한 구분은 모델이 사전 학습 중에 이전에 노출된 적이 있는 지식과 완전히 새로운 사실을 구분하는 것입니다. 최신 LLM 학습 세트의 규모를 고려할 때 웹에서 소싱한 텍스트를 통해 이용할 수 있는 방대한 양의 정보를 다루고 있습니다. 따라서 틈새 도메인에서도 지식 주입의 목표는 반드시 모델에 완전히 새로운 사실을 가르치는 것이 아니라 특정 도메인에 대한 편향을 유도하여 모델의 기억을 "갱신"하는 것입니다.