The amount of knowledge elicited through the standard instruction-tuning is still limited, even though the perplexity of documents is minimized, a phenomenon we refer to as the "perplexity curse". Our next question is how can we improve the ability of LLMs to absorb knowledge from documents to mitigate the perplexity curse. The main challenge is the gap between the way knowledge is presented in raw documents and how it is accessed through question-answering. We found that QA pairs are generally straightforward, while documents tend to be more complex and cluttered, weaving many factual statements together in a more intricate manner. Using Fig. 3 as an example, the answer to the question "who handled the editing of Oppenheimer" is included in a sentence in the middle of the article "Editing was handled by Jennifer Lame...", which does not explicitly mention "Oppenheimer". During training, LLMs must understand the context and deduce that "editing" refers to "the editing of Oppenheimer" to effectively encode this knowledge in the parameters.
표준 Instruction Tuning을 통해 이끌어내는 지식의 양은 여전히 제한적이며, 문서의 Perplexity가 최소화되더라도 'Perplexity Curse'라고 부르는 현상이 발생합니다. 다음 질문은 Perplexity Curse를 완화하기 위해 문서에서 지식을 흡수하는 LLM의 능력을 어떻게 향상시킬 수 있는가 하는 것입니다. 가장 큰 과제는 원시 문서에 지식이 제시되는 방식과 Question-Answering을 통해 액세스되는 방식 사이의 격차입니다. Question-Answering 쌍은 일반적으로 간단한 반면, 문서는 더 복잡하고 어수선한 경향이 있으며, 많은 사실 진술을 더 복잡한 방식으로 엮어내는 경향이 있습니다. 그림 3을 예로 들어보면, "오펜하이머의 편집을 누가 처리했나요?"라는 질문에 대한 답은 "편집은 제니퍼 레임이 처리했습니다..."라는 기사 중간에 있는 문장에 포함되어 있는데, 여기에는 "오펜하이머"가 명시적으로 언급되어 있지 않습니다. 학습하는 동안 LLM은 문맥을 이해하고 '편집'이 '오펜하이머의 편집'을 의미한다는 것을 추론하여 이 지식을 파라미터에 효과적으로 인코딩해야 합니다.
표준 지침 튜닝을 통해 이끌어내는 지식의 양은 여전히 제한적이며, 문서의 당혹감이 최소화되더라도 '당혹감의 저주'라고 부르는 현상이 발생합니다. 다음 질문은 당혹감의 저주를 완화하기 위해 문서에서 지식을 흡수하는 LLM의 능력을 어떻게 향상시킬 수 있는가 하는 것입니다. 가장 큰 과제는 원시 문서에 지식이 제시되는 방식과 질문-답변을 통해 액세스되는 방식 사이의 격차입니다. 질문과 답변 쌍은 일반적으로 간단한 반면, 문서는 더 복잡하고 어수선한 경향이 있으며, 많은 사실 진술을 더 복잡한 방식으로 엮어내는 경향이 있습니다. 그림 3을 예로 들어보면, "오펜하이머의 편집을 누가 처리했나요?"라는 질문에 대한 답은 "편집은 제니퍼 레임이 처리했습니다..."라는 기사 중간에 있는 문장에 포함되어 있는데, 여기에는 "오펜하이머"가 명시적으로 언급되어 있지 않습니다. 학습하는 동안 LLM은 문맥을 이해하고 '편집'이 '오펜하이머의 편집'을 의미한다는 것을 추론하여 이 지식을 파라미터에 효과적으로 인코딩해야 합니다.