Factual knowledge stored in the parameters of LLMs can be accessed and applied to answering questions through prompting without additional training Brown et al. (2020); Petroni et al. (2019); Jiang et al. (2020); Roberts et al. (2020). With additional instruction-tuning (also known as supervised fine-tuning) on high-quality data Sanh et al. (2022); Wei et al. (2022), knowledge seems to be more effectively elicited from LLMs. However, when LLMs correctly answer a question, the source of the knowledge is unclear due to the diversity of the pre-training data. For instance, when answering the question "where is the world's largest ice sheet located", do LLMs derive their response by recalling and generalizing information from a seen document about the Antarctic ice sheet, or do they merely repeat answers from similar questions encountered in the training data? This distinction is crucial, as the former scenario implies an ability to comprehend documents and effectively store knowledge within parameters in a way that can be elicited later, whereas the latter is mere rote memorization.
LLM의 매개변수에 저장된 사실적 지식은 추가 학습 없이 프롬프트를 통해 질문에 답하는 데 액세스하고 적용할 수 있습니다 Brown et al. (2020); Petroni et al. (2019); Jiang et al. (2020); Roberts et al. (2020). 고품질 데이터에 대한 추가 Instruction Tuning (Supervised Fine-tuning이라고도 함)을 통해 Sanh et al. (2022); Wei et al. (2022), LLM에서 지식을 더 효과적으로 이끌어내는 것으로 보입니다. 그러나 LLM이 질문에 올바르게 답할 때, 사전 학습 데이터의 다양성으로 인해 지식의 출처가 불분명합니다. 예를 들어, "세계에서 가장 큰 빙상은 어디에 위치해 있나요?"라는 질문에 LLM이 남극 빙상에 관한 문서에서 정보를 기억하고 일반화하여 답변을 도출하는 것일까요, 아니면 학습 데이터에서 접한 유사한 질문의 답변을 그대로 반복하는 것일까요? 전자의 시나리오는 문서를 이해하고 나중에 이끌어낼 수 있는 방식으로 매개변수 내에 지식을 효과적으로 저장하는 능력을 의미하는 반면, 후자는 단순히 암기하는 것일 뿐이므로 이러한 구분은 매우 중요합니다.
LLM의 매개변수에 저장된 사실적 지식은 추가 학습 없이 프롬프트를 통해 질문에 답하는 데 액세스하고 적용할 수 있습니다 Brown et al. (2020); Petroni et al. (2019); Jiang et al. (2020); Roberts et al. (2020). 고품질 데이터에 대한 추가 지시 튜닝(지도 미세 조정이라고도 함)을 통해 Sanh et al. (2022); Wei et al. (2022), LLM에서 지식을 더 효과적으로 이끌어내는 것으로 보입니다. 그러나 LLM이 질문에 올바르게 답할 때, 사전 학습 데이터의 다양성으로 인해 지식의 출처가 불분명합니다. 예를 들어, "세계에서 가장 큰 빙상은 어디에 위치해 있나요?"라는 질문에 LLM이 남극 빙상에 관한 문서에서 정보를 기억하고 일반화하여 답변을 도출하는 것일까요, 아니면 학습 데이터에서 접한 유사한 질문의 답변을 그대로 반복하는 것일까요? 전자의 시나리오는 문서를 이해하고 나중에 이끌어낼 수 있는 방식으로 매개변수 내에 지식을 효과적으로 저장하는 능력을 의미하는 반면, 후자는 단순히 암기하는 것일 뿐이므로 이러한 구분은 매우 중요합니다.