Large language models (LLMs) store vast amounts of factual knowledge in their parameters through large-scale pre-training, and this knowledge can be used to answer various questions such as "where is the world's largest ice sheet located" (Brown et al., 2020; OpenAI, 2023; Chowdhery et al., 2022; Zhang et al., 2022; Touvron et al., 2023, 2023; Gemini Team, 2023). However, this factual knowledge is static, meaning that it can become outdated as the world evolves, or prove insufficient when LLMs are used in specialized or private domains.
대규모 언어 모델(LLMs)은 대규모 사전 학습을 통해 매개변수에 방대한 양의 사실적 지식을 저장하며, 이 지식은 "세계에서 가장 큰 빙상이 어디에 위치해 있는가"와 같은 다양한 질문에 답하는 데 사용될 수 있습니다 (Brown et al., 2020; OpenAI, 2023; Chowdhery et al., 2022; Zhang et al., 2022; Touvron et al., 2023, 2023; Gemini Team, 2023). 그러나 이러한 사실적 지식은 정적이기 때문에 세계가 변화함에 따라 구식이 될 수 있으며, LLM이 특수하거나 비공개 도메인에서 사용될 때는 불충분할 수 있습니다.
대규모 언어 모델(LLM)은 대규모 사전 학습을 통해 방대한 양의 사실적 지식을 파라미터에 저장하고, 이러한 지식은 "세계에서 가장 큰 빙상은 어디에 위치해 있나요?"와 같은 다양한 질문에 답하는 데 사용할 수 있습니다(Brown et al., 2020; OpenAI, 2023; Chowdhery et al., 2022; Zhang et al., 2022; Touvron et al., 2023, 2023; Gemini Team, 2023). 그러나 이러한 사실적 지식은 정적인 상태이므로 세상이 진화함에 따라 오래된 정보가 될 수도 있고, LLM이 특수 또는 비공개 영역에서 사용될 때 부족할 수도 있습니다.