In Table 5, we find that using "top-5" chunks as the context for training leads to improvements on the datasets that need retrieval. But it downgrades the performance on non-retrieval datasets. Overall, these two models perform comparable. It is because incorporating "top-5" retrieved chunks in stage-2 tuning aligns with the inference stage where retrieval is needed and hence, improves the Avg-ret score. However, mixing continuous and discontinuous documents could make the stage-2 tuning less stable, leading to sub-optimal results on non-retrieval datasets. We believe more future work can be conducted regarding the balance of incorporating continuous context and top-\(k\) retrieved chunks in the stage-2 tuning.
표 5에서 "top-5" 청크를 훈련의 컨텍스트로 사용하면 retrieval이 필요한 데이터 세트에서 개선 효과를 얻을 수 있음을 알 수 있습니다. 그러나 retrieval이 필요하지 않은 데이터 세트의 성능은 저하됩니다. 전반적으로 이 두 모델은 비슷한 성능을 보입니다. 이는 stage-2 tuning에서 'top-5' retrieved 청크를 통합하는 것이 retrieval이 필요한 추론 단계와 일치하므로 Avg-ret 점수를 향상시키기 때문입니다. 그러나 연속된 문서와 불연속된 문서를 혼합하면 stage-2 tuning이 덜 안정적이어서 retrieval이 필요하지 않은 데이터 세트에서 최적이 아닌 결과가 나올 수 있습니다. stage-2 tuning에서 연속적인 문맥과 top-\(k\) retrieved 청크를 통합하는 균형과 관련하여 향후 더 많은 연구가 진행될 수 있다고 생각합니다.
표 5에서 "상위 5개" 청크를 훈련의 컨텍스트로 사용하면 검색이 필요한 데이터 세트에서 개선 효과를 얻을 수 있음을 알 수 있습니다. 그러나 검색이 필요하지 않은 데이터 세트의 성능은 저하됩니다. 전반적으로 이 두 모델은 비슷한 성능을 보입니다. 이는 2단계 튜닝에서 '상위 5개' 검색된 청크를 통합하는 것이 검색이 필요한 추론 단계와 일치하므로 Avg-ret 점수를 향상시키기 때문입니다. 그러나 연속된 문서와 불연속된 문서를 혼합하면 2단계 튜닝이 덜 안정적이어서 검색이 필요하지 않은 데이터 세트에서 최적이 아닌 결과가 나올 수 있습니다. 2단계 튜닝에서 연속적인 문맥과 상위 \(k\) 검색된 청크를 통합하는 균형과 관련하여 향후 더 많은 연구가 진행될 수 있다고 생각합니다.