Pre-instruction-tuning w/ QA onlyWe start with exposing instruction-tuning data before continued pre-training on documents--training on topically related QA pairs before training on test documents (Fig. 4 5). This can be directly compared with the continued pre-training setting (Fig. 4 5). The intuition is that questions help LLMs recognize key types of information, enabling LLMs to focus on important information during pre-training on subsequent documents, even though the questions are not directly tied to the documents. For example, training on a question like "who handled the editing of Oppenheimer" could help LLMs pay attention to screenwriters when training on new documents like "Barbie". As shown in Tab. 1, this method outperforms continued pre-training, especially on larger LLMs (27.6%/41.7% \(\rightarrow\) 28.6%/49.7% for 7B/70B). The ablation that trains on QA data after training on documents ("instruction-tuning w/o train doc" in Tab. 2) is ineffective, confirming the importance of training on questions as a warm-up before encoding documents.
QA만으로 사전 Instruction Tuning우선적으로 문서에 대한 지속적인 사전 학습 전에 Instruction Tuning 데이터를 노출하여 테스트 문서에 대한 학습 전에 주제와 관련된 QA 쌍에 대한 학습을 시작합니다(그림 4 5). 이는 지속적인 사전 학습 설정(그림 4 5)과 직접 비교할 수 있습니다. 질문은 LLM이 핵심 정보 유형을 인식하는 데 도움이 되며, 질문이 문서와 직접적으로 연결되어 있지는 않더라도 LLM이 후속 문서에 대한 사전 학습 중에 중요한 정보에 집중할 수 있도록 도와준다는 것이 직관입니다. 예를 들어, "누가 오펜하이머의 편집을 담당했나요?"와 같은 질문에 대한 훈련은 LLM이 "바비"와 같은 새로운 문서를 훈련할 때 시나리오 작가에게 주의를 기울이는 데 도움이 될 수 있습니다. 표 1과 같이 이 방법은 특히 더 큰 LLM(7B/70B의 경우 27.6%/41.7% \(\rightarrow\) 28.6%/49.7%)에서 지속적인 사전 학습보다 성능이 뛰어납니다. 문서 학습 후 QA 데이터를 학습하는 방법("표 2의 Instruction Tuning 없이 학습 문서")은 효과가 없어 문서를 인코딩하기 전에 워밍업으로 질문에 대한 학습의 중요성을 확인할 수 있습니다.
QA만으로 사전 지침 조정우선적으로 문서에 대한 지속적인 사전 학습 전에 지침 조정 데이터를 노출하여 테스트 문서에 대한 학습 전에 주제와 관련된 QA 쌍에 대한 학습을 시작합니다(그림 4 5). 이는 지속적인 사전 학습 설정(그림 4 5)과 직접 비교할 수 있습니다. 질문은 LLM이 핵심 정보 유형을 인식하는 데 도움이 되며, 질문이 문서와 직접적으로 연결되어 있지는 않더라도 LLM이 후속 문서에 대한 사전 학습 중에 중요한 정보에 집중할 수 있도록 도와준다는 것이 직관입니다. 예를 들어, "누가 오펜하이머의 편집을 담당했나요?"와 같은 질문에 대한 훈련은 LLM이 "바비"와 같은 새로운 문서를 훈련할 때 시나리오 작가에게 주의를 기울이는 데 도움이 될 수 있습니다. 표 1과 같이 이 방법은 특히 더 큰 LLM(7B/70B의 경우 27.6%/41.7% \(\rightarrow\) 28.6%/49.7%)에서 지속적인 사전 학습보다 성능이 뛰어납니다. 문서 학습 후 QA 데이터를 학습하는 방법("표 2의 지침 튜닝 없이 학습 문서")은 효과가 없어 문서를 인코딩하기 전에 워밍업으로 질문에 대한 학습의 중요성을 확인할 수 있습니다.