We study the best way of continued training on new documents with the goal of later eliciting factual knowledge. We propose pre-instruction-tuning that learns how knowledge is accessed via QA pairs prior to encoding knowledge from documents. Extensive experiments demonstrate the superiority of pre-instruction-tuning versus standard instruction-tuning. Future directions include scaling this method up to a broader range of documents and instructions for more robust generalization.
나중에 사실적 지식을 이끌어내는 것을 목표로 새로운 문서에 대한 지속적인 훈련의 최선의 방법을 연구합니다. 문서에서 지식을 인코딩하기 전에 QA 쌍을 통해 지식에 액세스하는 방법을 학습하는 pre-instruction-tuning을 제안합니다. 광범위한 실험을 통해 standard instruction-tuning 대비 pre-instruction-tuning의 우월성을 입증했습니다. 향후 방향으로는 이 방법을 더 광범위한 문서와 instructions으로 확장하여 보다 강력한 일반화를 수행할 것입니다.
나중에 사실적 지식을 이끌어내는 것을 목표로 새로운 문서에 대한 지속적인 훈련의 최선의 방법을 연구합니다. 문서에서 지식을 인코딩하기 전에 QA 쌍을 통해 지식에 액세스하는 방법을 학습하는 사전 지시 튜닝을 제안합니다. 광범위한 실험을 통해 표준 지시 튜닝 대비 사전 지시 튜닝의 우월성을 입증했습니다. 향후 방향으로는 이 방법을 더 광범위한 문서와 지침으로 확장하여 보다 강력한 일반화를 수행할 것입니다.