Pre-instruction-tuningThe effectiveness of PIT depends on ensuring that the associated QA pairs are already learned before encoding the respective documents. However, we observed that after training on documents (train doc in Fig. 4 ), the accuracy for corresponding questions (train QA in Fig. 4 ) dropped from almost perfect to 30%, indicating severe forgetting. To fix this, we train on the associated QA pairs and documents together (Fig. 4 ). As shown in Tab. 1, this significantly improves the performance, outperforming all other approaches, including mixing all data together (Fig. 4 ), by a large margin (39.4%/57.1% \(\rightarrow\) 45.5%/62.7% for 7B/70B). Training on both QA pairs and documents prevents forgetting, but it also obscures how the learning process works. It is unclear whether LLMs grasp QA pairs before encoding knowledge from documents, or if it works the other way around. In the following section, we deliberately arrange the order of QA pairs and documents during training to examine this, which leads us to propose an improved version of PIT.
사전 Instruction Tuning. PIT의 효과는 각 문서를 인코딩하기 전에 관련 QA 쌍이 이미 학습되었는지 확인하는지에 달려 있습니다. 그러나 문서에 대한 학습(Fig. 4의 train doc) 후 해당 질문(Fig. 4의 train QA)에 대한 정확도가 거의 완벽했던 것에서 30%로 떨어지는 심각한 망각 현상이 관찰되었습니다. 이를 해결하기 위해 관련 QA 쌍과 문서를 함께 학습합니다(Fig. 4). Tab. 1과 같이, 이렇게 하면 모든 데이터를 함께 혼합하는 것을 포함한 다른 모든 접근 방식보다 성능이 크게 향상되어 7B/70B의 경우 39.4%/57.1%에서 45.5%/62.7%로 큰 차이를 보입니다. QA 쌍과 문서를 모두 학습하면 망각을 방지할 수 있지만, 학습 과정이 어떻게 진행되는지 알 수 없습니다. LLM이 문서의 지식을 인코딩하기 전에 QA 쌍을 파악하는 것인지, 아니면 그 반대의 방식으로 작동하는 것인지는 명확하지 않습니다. 다음 섹션에서는 이를 조사하기 위해 학습 중에 QA 쌍과 문서의 순서를 의도적으로 정리하여 개선된 버전의 PIT를 제안합니다.
사전 지침 조정PIT의 효과는 각 문서를 인코딩하기 전에 관련 QA 쌍이 이미 학습되었는지 확인하는지에 달려 있습니다. 그러나 문서에 대한 학습(Fig. 4의 train doc) 후 해당 질문(Fig. 4의 train QA)에 대한 정확도가 거의 완벽했던 것에서 30%로 떨어지는 심각한 망각 현상이 관찰되었습니다. 이를 해결하기 위해 관련 QA 쌍과 문서를 함께 학습합니다(그림 4). 표 1과 같이, 이렇게 하면 모든 데이터를 함께 혼합하는 것을 포함한 다른 모든 접근 방식보다 성능이 크게 향상되어 7B/70B의 경우 39.4%/57.1%에서 45.5%/62.7%로 큰 차이를 보입니다. QA 쌍과 문서를 모두 학습하면 망각을 방지할 수 있지만, 학습 과정이 어떻게 진행되는지 알 수 없습니다. LLM이 문서의 지식을 인코딩하기 전에 QA 쌍을 파악하는 것인지, 아니면 그 반대의 방식으로 작동하는 것인지는 명확하지 않습니다. 다음 섹션에서는 이를 조사하기 위해 학습 중에 QA 쌍과 문서의 순서를 의도적으로 정리하여 개선된 버전의 PIT를 제안합니다.