We use NarrativeQA for this study, since each question has a corresponding long document. For NarrativeQA, we originally use a summary of the long document as the context, which contains the answer. To incorporate discontinuous contexts, we first cut the long document into 300-word chunks. Then, we use Dragon retriever to retrieve top-4 chunks to the question as the additional context. Finally, we take the retrieved four chunks and the summary of the long document as the "top-5" chunks. 7 We use this reconstructed NarrativeQA to replace the original one for the stage-2 instruction tuning.
각 질문에 해당하는 긴 문서가 있기 때문에 이 연구에서는 NarrativeQA를 사용합니다. NarrativeQA의 경우, 원래는 답변이 포함된 긴 문서의 요약을 문맥으로 사용합니다. 불연속적인 문맥을 통합하기 위해 먼저 긴 문서를 300단어 덩어리로 잘라냅니다. 그런 다음 Dragon 검색기를 사용하여 질문에 대한 상위 4개의 청크를 추가 컨텍스트로 검색합니다. 마지막으로 검색된 4개의 청크와 긴 문서의 요약을 '상위 5개' 청크로 가져옵니다. 7 이 재구성된 NarrativeQA를 사용하여 2단계 Instruction Tuning을 위해 원래의 NarrativeQA를 대체합니다.
각 질문에 해당하는 긴 문서가 있기 때문에 이 연구에서는 NarrativeQA를 사용합니다. NarrativeQA의 경우, 원래는 답변이 포함된 긴 문서의 요약을 문맥으로 사용합니다. 불연속적인 문맥을 통합하기 위해 먼저 긴 문서를 300단어 덩어리로 잘라냅니다. 그런 다음 Dragon 검색기를 사용하여 질문에 대한 상위 4개의 청크를 추가 컨텍스트로 검색합니다. 마지막으로 검색된 4개의 청크와 긴 문서의 요약을 '상위 5개' 청크로 가져옵니다. 7 이 재구성된 NarrativeQA를 사용하여 2단계 지침 튜닝을 위해 원래의 NarrativeQA를 대체합니다.