Table 4 presents the results of this experiment. A significant performance difference is observed between using the gold passage and the top passage retrieved by Contriever for both datasets (approximately 67 absolute points for SQuAD and 42 for NQ). This indicates that Contriever, and current IR systems in general, do not consistently retrieve the most relevant passage to answer a given question. This observation underscores the importance of retrieving multiple documents as context, as seen in the most successful open-domain QA systems [13], and highlights its impact on the overall performance of Adapt-LLM in PopQA.
표 4는 이 실험의 결과를 제시합니다. 두 데이터 세트 모두에서 골드 구절을 사용하는 것과 Contriever가 검색한 상위 구절을 사용하는 것 사이에 상당한 성능 차이가 관찰됩니다(SQuAD의 경우 약 67점, NQ의 경우 42점). 이는 Contriever와 현재 IR 시스템이 주어진 질문에 답하기 위해 가장 관련성이 높은 구절을 일관되게 검색하지 못한다는 것을 나타냅니다. 이러한 관찰은 가장 성공적인 open-domain QA 시스템[13]에서 볼 수 있듯이 여러 문서를 컨텍스트로 검색하는 것이 중요하다는 점을 강조하며, 이것이 PopQA에서 Adapt-LLM의 전반적인 성능에 미치는 영향을 강조합니다.
표 4는 이 실험의 결과를 제시합니다. 두 데이터 세트 모두에서 골드 구절을 사용하는 것과 Contriever가 검색한 상위 구절을 사용하는 것 사이에 상당한 성능 차이가 관찰됩니다(SQuAD의 경우 약 67점, NQ의 경우 42점). 이는 Contriever와 현재 IR 시스템이 주어진 질문에 답하기 위해 가장 관련성이 높은 구절을 일관되게 검색하지 못한다는 것을 나타냅니다. 이러한 관찰은 가장 성공적인 오픈 도메인 QA 시스템[13]에서 볼 수 있듯이 여러 문서를 컨텍스트로 검색하는 것이 중요하다는 점을 강조하며, 이것이 PopQA에서 Adapt-LLM의 전반적인 성능에 미치는 영향을 강조합니다.