Based on this, we propose an improved variant called pre-instruction-tuning++, which trains exclusively on QA pairs to understand patterns of knowledge access, then progresses to training on a combination of QA and document data to align knowledge access through questions and knowledge encoding from documents (Fig. 4 ). As shown in Tab. 2, PIT++ significantly outperforms PIT (Fig. 4 ) from 45.4% to 48.1%, while training on QA data after on the mix (PIT- in Tab. 2) does not yield additional benefits. This reinforces our hypothesis that understanding how knowledge is accessed aids in absorbing knowledge from documents, and therefore, should be prioritized.
이를 바탕으로 개선된 변형인 pre-instruction-tuning++을 제안하는데, 이는 지식 액세스 패턴을 이해하기 위해 QA 쌍에 대해서만 훈련한 다음, 질문을 통한 지식 액세스와 문서의 지식 인코딩을 조정하기 위해 QA와 문서 데이터의 조합에 대한 훈련으로 진행합니다(그림 4 ). Tab. 2에서 볼 수 있듯이, PIT++는 45.4%에서 48.1%로 PIT(그림 4 )보다 크게 뛰어난 성능을 발휘하는 반면, 혼합 후 QA 데이터에 대한 훈련(Tab. 2의 PIT-)은 추가적인 이점을 제공하지 않습니다. 이는 지식에 접근하는 방식을 이해하는 것이 문서에서 지식을 흡수하는 데 도움이 되므로 이를 우선순위로 삼아야 한다는 가설을 강화합니다.
이를 바탕으로 사전 지침 조정++이라는 개선된 변형을 제안하는데, 이는 지식 액세스 패턴을 이해하기 위해 QA 쌍에 대해서만 훈련한 다음, 질문을 통한 지식 액세스와 문서의 지식 인코딩을 조정하기 위해 QA와 문서 데이터의 조합에 대한 훈련으로 진행합니다(그림 4 ). Tab. 2에서 볼 수 있듯이, PIT++는 45.4%에서 48.1%로 PIT(그림 4 )보다 크게 뛰어난 성능을 발휘하는 반면, 혼합 후 QA 데이터에 대한 훈련(Tab. 2의 PIT-)은 추가적인 이점을 제공하지 않습니다. 이는 지식에 접근하는 방식을 이해하는 것이 문서에서 지식을 흡수하는 데 도움이 되므로 이를 우선순위로 삼아야 한다는 가설을 강화합니다.