In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs _before_ continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose **pre-instruction-tuning (PIT)**, a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.
대규모 언어 모델(LLM) 기반 어시스턴트가 진화하는 정보 요구에 효과적으로 적응하려면 새로운 데이터에 대한 지속적인 학습을 통해 사실적 지식을 업데이트할 수 있어야 합니다. 이를 위한 표준 레시피에는 새로운 문서에 대한 사전 학습을 계속한 후 question-answer (QA) 쌍에 대한 Instruction Tuning이 포함됩니다. 그러나 이 레시피로 학습된 LLM은 문서의 Perplexity가 최소화되었음에도 불구하고 질문에 답하는 데 어려움을 겪는다는 사실을 발견했습니다. 일반적으로 QA 쌍은 간단하지만 문서는 더 복잡하여 많은 사실적 진술을 복잡한 방식으로 엮어 넣는다는 사실을 발견했습니다. 따라서 복잡한 문서의 지식을 인코딩하는 과정에서 이 지식이 질문을 통해 액세스되는 방식을 고려할 수 있도록 문서에 대한 지속적인 사전 학습 전에 LLM에 QA 쌍을 노출시키는 것이 유리할 것이라는 가설을 세웠습니다. 이를 바탕으로 문서 학습 전에 질문에 대한 Instruction Tuning을 수행하는 방법인 **pre-instruction-tuning (PIT)**을 제안합니다. 이는 문서 학습 후 지식 추출 방법을 학습하는 표준 Instruction Tuning과 대조됩니다. 광범위한 실험과 삭감 연구에 따르면 PIT는 새로운 문서에서 지식을 흡수하는 LLM의 능력을 크게 향상시켜 표준 Instruction Tuning보다 17.8% 더 우수한 성능을 발휘합니다.
대규모 언어 모델(LLM) 기반 어시스턴트가 진화하는 정보 요구에 효과적으로 적응하려면 새로운 데이터에 대한 지속적인 학습을 통해 사실적 지식을 업데이트할 수 있어야 합니다. 이를 위한 표준 레시피에는 새로운 문서에 대한 사전 학습을 계속한 후 질문-답변(QA) 쌍에 대한 지시 튜닝이 포함됩니다. 그러나 이 레시피로 학습된 LLM은 문서의 당혹감이 최소화되었음에도 불구하고 질문에 답하는 데 어려움을 겪는다는 사실을 발견했습니다. 일반적으로 QA 쌍은 간단하지만 문서는 더 복잡하여 많은 사실적 진술을 복잡한 방식으로 엮어 넣는다는 사실을 발견했습니다. 따라서 복잡한 문서의 지식을 인코딩하는 과정에서 이 지식이 질문을 통해 액세스되는 방식을 고려할 수 있도록 문서에 대한 지속적인 사전 학습 전에 LLM에 QA 쌍을 노출시키는 것이 유리할 것이라는 가설을 세웠습니다. 이를 바탕으로 문서 학습 전에 질문에 대한 지시 튜닝을 수행하는 방법인 **사전 지시 튜닝(PIT)**을 제안합니다. 이는 문서 학습 후 지식 추출 방법을 학습하는 표준 지시 튜닝과 대조됩니다. 광범위한 실험과 삭감 연구에 따르면 PIT는 새로운 문서에서 지식을 흡수하는 LLM의 능력을 크게 향상시켜 표준 지시 튜닝보다 17.8% 더 우수한 성능을 발휘합니다.