Large language models (LLMs) are able to capture vast amounts of factual information (Petroni et al., 2019; Cohen et al., 2023; Hu et al., 2023). LLMs exhibit a remarkable level of knowledge in various domains due to their massive pre-training datasets. However, there are two significant limitations to this knowledge. First, it is static and does not update with time. Second, it is non-specific and thus may lack nuanced expertise in particular domains. While these are two different problems, they are deeply related since their solution is the same: enhancing the model's knowledge.
대형 언어 모델(LLMs)은 방대한 양의 사실 정보를 포착할 수 있습니다(Petroni et al., 2019; Cohen et al., 2023; Hu et al., 2023). LLMs는 대규모 사전 학습 데이터셋 덕분에 다양한 분야에서 놀라운 수준의 지식을 보여줍니다. 그러나 이러한 지식에는 두 가지 중요한 한계가 있습니다. 첫째, 이는 정적이며 시간에 따라 업데이트되지 않습니다. 둘째, 이는 비특정적이어서 특정 분야에서 세밀한 전문 지식이 부족할 수 있습니다. 이 두 가지는 서로 다른 문제이지만, 그 해결책은 동일합니다: 모델의 지식을 향상시키는 것입니다.
대규모 언어 모델(LLM)은 방대한 양의 사실 정보를 캡처할 수 있습니다(Petroni et al., 2019; Cohen et al., 2023; Hu et al., 2023). LLM은 방대한 사전 학습 데이터 세트로 인해 다양한 영역에서 놀라운 수준의 지식을 보여줍니다. 그러나 이러한 지식에는 두 가지 중요한 한계가 있습니다. 첫째, 시간이 지나도 업데이트되지 않는 정적인 정보입니다. 둘째, 특정 도메인에 대한 미묘한 전문 지식이 부족할 수 있는 비특정적입니다. 이 두 가지 문제는 서로 다른 문제이지만, 그 해결책이 동일하기 때문에 깊은 관련이 있습니다: 모델의 지식을 향상시키는 것입니다.