For all the datasets used by stage-2 tuning, the context are provided as continuous paragraphs or documents that contain the answer. In contrast, the model needs to handle the top-\(k\) retrieved chunks at inference for long documents. To reduce such train/test mismatch, we investigate whether replacing some continuous paragraphs with retrieved top-k chunks will enhance the model's robustness.
2단계 튜닝에 사용된 모든 데이터셋에 대해, 문맥은 답을 포함하는 연속적인 단락이나 문서로 제공됩니다. 반면, 모델은 긴 문서에 대해 추론 시 상위 \(k\)개의 검색된 청크를 처리해야 합니다. 이러한 학습/테스트 불일치를 줄이기 위해, 일부 연속적인 단락을 검색된 상위 \(k\)개의 청크로 대체하는 것이 모델의 견고성을 향상시킬 수 있는지 조사합니다.
2단계 튜닝에 사용되는 모든 데이터 세트의 경우 답변이 포함된 연속된 단락 또는 문서로 컨텍스트가 제공됩니다. 반면, 모델은 긴 문서의 경우 추론 시 상위 \(k\)개의 검색된 청크를 처리해야 합니다. 이러한 훈련/테스트 불일치를 줄이기 위해 일부 연속된 단락을 상위 k개의 청크로 검색하여 모델의 견고성을 향상시킬 수 있는지 조사합니다.