biographies led to strong generalization when answering questions about the remaining half of biographies, which resembles setting 1 in Fig. 4. In contrast, training on biographies and QA pairs sequentially failed. However, the key contributor to the success remains uncertain because the data were blended together, and it is unclear how to apply this practically to absorb knowledge from new documents. Inspired by our observation of the different difficulty levels between QA pairs and documents, and the finding from Zhu and Li (2023), we hypothesize that _it is beneficial to deliberately expose LLMs to instruction-tuning data before continued pre-training so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed._ We refer to this as **pre-instruction-tuning (PIT)** and study various implementations of PIT prior to continued learning (SS 5.1), followed by detailed ablations identifying the keys contributor to performance (SS 5.2 and SS 5.3), and finally assess how well PIT performs across domains (SS 5.4). We adhere to the hyperparameters outlined in SS 3.2 and perform PIT for 3 epochs unless specified otherwise.
전기는 나머지 절반에 대한 질문에 답할 때 강력한 일반화로 이어졌습니다. 이는 그림 4의 설정 1과 유사합니다. 반면에 전기와 QA 쌍에 대한 훈련은 순차적으로 실패했습니다. 그러나 데이터가 함께 혼합되어 있고 이를 실제로 새로운 문서에서 지식을 흡수하는 데 어떻게 적용할 수 있는지 불분명하기 때문에 성공의 주요 원인은 아직 불확실합니다. QA 쌍과 문서 간의 난이도가 다르다는 관찰과 Zhu와 Li(2023)의 연구 결과에서 영감을 받아, _복잡한 문서에서 지식을 인코딩하는 과정에서 이 지식에 액세스하는 방법을 고려할 수 있도록 지속적인 사전 학습 전에 의도적으로 LLM을 Instruction Tuning 데이터에 노출시키는 것이 유익하다_고 가설을 세웁니다. 이를 **pre-Instruction Tuning (PIT)**이라고 하며, 지속적인 학습 전에 다양한 PIT 구현을 연구한 후(SS 5.1), 성능에 가장 큰 기여도를 가진 요소를 파악하는 세부적인 압제(SS 5.2 및 SS 5.3)를 수행하고, 마지막으로 PIT가 여러 도메인에서 얼마나 잘 수행되는지 평가합니다(SS 5.4). SS 3.2에 설명된 하이퍼파라미터를 준수하고 달리 명시되지 않는 한 3회에 걸쳐 PIT를 수행합니다.
전기는 나머지 절반에 대한 질문에 답할 때 강력한 일반화로 이어졌습니다. 이는 그림 4의 설정 1과 유사합니다. 반면에 전기와 QA 쌍에 대한 훈련은 순차적으로 실패했습니다. 그러나 데이터가 함께 혼합되어 있고 이를 실제로 새로운 문서에서 지식을 흡수하는 데 어떻게 적용할 수 있는지 불분명하기 때문에 성공의 주요 원인은 아직 불확실합니다. QA 쌍과 문서 간의 난이도가 다르다는 관찰과 Zhu와 Li(2023)의 연구 결과에서 영감을 받아, _복잡한 문서에서 지식을 인코딩하는 과정에서 이 지식에 액세스하는 방법을 고려할 수 있도록 지속적인 사전 학습 전에 의도적으로 LLM을 명령어 튜닝 데이터에 노출시키는 것이 유익하다_고 가설을 세웁니다. 이를 **사전 명령어 튜닝(PIT)**이라고 하며, 지속적인 학습 전에 다양한 PIT 구현을 연구한 후(SS 5.1), 성능에 가장 큰 기여도를 가진 요소를 파악하는 세부적인 압제(SS 5.2 및 SS 5.3)를 수행하고, 마지막으로 PIT가 여러 도메인에서 얼마나 잘 수행되는지 평가합니다(SS 5.4). SS 3.2에 설명된 하이퍼파라미터를 준수하고 달리 명시되지 않는 한 3회에 걸쳐 PIT를 수행합니다.