In the second part of the paper (SS 5), we study methods to mitigate the perplexity curse by making LLMs more adept at absorbing knowledge from documents. Zhu and Li (2023) presented an intriguing finding that training a randomly initialized transformer from scratch on a mix of biographies and related questions resulted in strong generalization to new questions. However, understanding the reasons behind this finding and exploring ways to practically apply it for absorbing knowledge from new documents requires further investigation. We found that question-answer (QA) pairs are generally straightforward and easily digestible, while documents tend to be more complex and cluttered, often weaving many factual statements together in a more intricate manner. Therefore, we hypothesize that _it is beneficial to deliberately expose LLMs to QA data before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions_. We refer to this as **pre-instruction-tuning (PIT)** and conduct comprehensive experiments to benchmark different variations of this method. As shown in Fig. 1, our best-performing variation starts with training exclusively on QA pairs (e.g., "who handled the editing of Oppenheimer") to grasp how knowledge is accessed. This is followed by training on a combination of these QA pairs and associated documents (e.g., "who handled the editing of Oppenheimer" and a document about "Oppenheimer"). In this phase, LLMs enhance their ability to absorb knowledge from information-dense documents, building upon the QA pairs that they have already mastered. To study continual knowledge acquisition, we build a dataset named Wiki2023, which includes a collection of documents from Wikipedia that are relevant to the year 2023. Comprehensive experiments on Wiki2023 demonstrate that after PIT, LLMs exhibit an enhanced ability to absorb knowledge from new documents (e.g., a document about "Barbie"). Detailed ablation studies reveal that this ability primarily stems from prioritizing learning how to access knowledge over learning to encode knowledge from documents. Overall, PIT significantly outperforms the standard instruction-tuning approach (SS 5.1 and SS 5.2), improving QA accuracies by 17.8% on Llama-2 7B (30.3% \(\sim\) 48.1%) and 16.3% on Llama-2 70B (46.4% \(\sim\) 62.7%). Moreover, PIT also enhances the ability to absorb knowledge from documents of a _different_ domain, shedding light on the potential to scale this method up to a wider variety of documents and instructions for more robust generalization (SS 5.4).
논문의 두 번째 부분(SS 5)에서는 LLM이 문서에서 지식을 더 잘 흡수할 수 있도록 하여 perplexity의 저주를 완화하는 방법을 연구합니다. Zhu와 Li(2023)는 무작위로 초기화된 Transformer를 전기와 관련 질문의 혼합물로부터 처음부터 훈련하면 새로운 질문에 대해 강력한 일반화가 이루어진다는 흥미로운 결과를 발표했습니다. 그러나 이러한 발견의 이면에 숨겨진 이유를 이해하고 이를 실제로 적용하여 새로운 문서에서 지식을 흡수하는 방법을 모색하려면 추가 연구가 필요합니다. 질문-답변(QA) 쌍은 일반적으로 간단하고 쉽게 이해할 수 있는 반면, 문서는 더 복잡하고 어수선한 경향이 있으며, 많은 사실적 진술을 더 복잡한 방식으로 엮어내는 경우가 많다는 것을 발견했습니다. 따라서 복잡한 문서의 지식을 인코딩하는 과정에서 이러한 지식이 질문을 통해 액세스되는 방식을 고려하면 _LLM이 문서에 대한 지속적인 사전 학습 전에 의도적으로 QA 데이터에 노출되는 것이 유익하다_고 가설을 세웁니다. 이를 **pre-instruction-tuning (PIT)**이라고 하며, 이 방법의 다양한 변형을 벤치마킹하기 위한 포괄적인 실험을 수행합니다. 그림 1과 같이, 가장 성능이 좋은 변형은 지식에 액세스하는 방법을 파악하기 위해 QA 쌍(예: "누가 오펜하이머의 편집을 처리했나요?")만을 대상으로 훈련하는 것으로 시작합니다. 그 다음에는 이러한 QA 쌍과 관련 문서(예: "누가 오펜하이머의 편집을 처리했나요?" 및 "오펜하이머"에 대한 문서)의 조합에 대한 훈련을 진행합니다. 이 단계에서 LLM은 이미 숙달한 QA 쌍을 기반으로 정보 밀도가 높은 문서에서 지식을 흡수하는 능력을 향상시킵니다. 지속적인 지식 습득을 연구하기 위해 2023년과 관련된 위키백과의 문서 모음을 포함하는 Wiki2023이라는 데이터 세트를 구축했습니다. Wiki2023에 대한 포괄적인 실험을 통해 LLM이 PIT 이후 새로운 문서(예: "바비"에 대한 문서)에서 지식을 흡수하는 능력이 향상되었음을 입증했습니다. 상세한 삭감 연구에 따르면 이러한 능력은 주로 문서에서 지식을 인코딩하는 것보다 지식에 액세스하는 방법을 배우는 데 우선순위를 두는 데서 비롯된 것으로 나타났습니다. 전반적으로 PIT는 표준 Instruction Tuning 방식(SS 5.1 및 SS 5.2)보다 훨씬 뛰어난 성능을 발휘하여 Llama-2 7B의 경우 17.8%(30.3% \(\sim\) 48.1%), Llama-2 70B의 경우 16.3%(46.4% \(\sim\) 62.7%)의 QA 정확도를 향상시켰습니다. 또한 PIT는 _다른_ 도메인의 문서에서 지식을 흡수하는 능력도 향상시켜 더 강력한 일반화를 위해 더 다양한 문서와 Instruction에 이 방법을 확장할 수 있는 가능성을 조명합니다(SS 5.4).
논문의 두 번째 부분(SS 5)에서는 LLM이 문서에서 지식을 더 잘 흡수할 수 있도록 하여 당혹감의 저주를 완화하는 방법을 연구합니다. Zhu와 Li(2023)는 무작위로 초기화된 트랜스포머를 전기와 관련 질문의 혼합물로부터 처음부터 훈련하면 새로운 질문에 대해 강력한 일반화가 이루어진다는 흥미로운 결과를 발표했습니다. 그러나 이러한 발견의 이면에 숨겨진 이유를 이해하고 이를 실제로 적용하여 새로운 문서에서 지식을 흡수하는 방법을 모색하려면 추가 연구가 필요합니다. 질문-답변(QA) 쌍은 일반적으로 간단하고 쉽게 이해할 수 있는 반면, 문서는 더 복잡하고 어수선한 경향이 있으며, 많은 사실적 진술을 더 복잡한 방식으로 엮어내는 경우가 많다는 것을 발견했습니다. 따라서 복잡한 문서의 지식을 인코딩하는 과정에서 이러한 지식이 질문을 통해 액세스되는 방식을 고려하면 _LLM이 문서에 대한 지속적인 사전 학습 전에 의도적으로 QA 데이터에 노출되는 것이 유익하다_고 가설을 세웁니다. 이를 **사전 지시 튜닝(PIT)**이라고 하며, 이 방법의 다양한 변형을 벤치마킹하기 위한 포괄적인 실험을 수행합니다. 그림 1과 같이, 가장 성능이 좋은 변형은 지식에 액세스하는 방법을 파악하기 위해 QA 쌍(예: "누가 오펜하이머의 편집을 처리했나요?")만을 대상으로 훈련하는 것으로 시작합니다. 그 다음에는 이러한 QA 쌍과 관련 문서(예: "누가 오펜하이머의 편집을 처리했나요?" 및 "오펜하이머"에 대한 문서)의 조합에 대한 훈련을 진행합니다. 이 단계에서 LLM은 이미 숙달한 QA 쌍을 기반으로 정보 밀도가 높은 문서에서 지식을 흡수하는 능력을 향상시킵니다. 지속적인 지식 습득을 연구하기 위해 2023년과 관련된 위키백과의 문서 모음을 포함하는 Wiki2023이라는 데이터 세트를 구축했습니다. Wiki2023에 대한 포괄적인 실험을 통해 LLM이 PIT 이후 새로운 문서(예: "바비"에 대한 문서)에서 지식을 흡수하는 능력이 향상되었음을 입증했습니다. 상세한 삭감 연구에 따르면 이러한 능력은 주로 문서에서 지식을 인코딩하는 것보다 지식에 액세스하는 방법을 배우는 데 우선순위를 두는 데서 비롯된 것으로 나타났습니다. 전반적으로 PIT는 표준 지시 튜닝 방식(SS 5.1 및 SS 5.2)보다 훨씬 뛰어난 성능을 발휘하여 Llama-2 7B의 경우 17.8%(30.3% \(\sim\) 48.1%), Llama-2 70B의 경우 16.3%(46.4% \(\sim\) 62.7%)의 QA 정확도를 향상시켰습니다. 또한 PIT는 _다른_ 도메인의 문서에서 지식을 흡수하는 능력도 향상시켜 더 강력한 일반화를 위해 더 다양한 문서와 지침에 이 방법을 확장할 수 있는 가능성을 조명합니다(SS 5.4).