However, it is notable that the overall performance of the model when answering questions with retrieved context, as observed in Table 3 (approximately 33%), is relatively low. To further explore this observation, we conduct an additional experiment: evaluating Adapt-LLM (both versions trained on NQ and SQuAD) on the NQ and SQuAD development splits, comparing performance when using the gold passages of the dataset and the context retrieved by our IR system, Contriever [11]. Unfortunately, PopQA does not provide the gold passages, so direct evaluation there was not possible.
그러나 표 3에서 볼 수 있듯이 검색된 컨텍스트로 질문에 답할 때 모델의 전체 성능(약 33%)이 상대적으로 낮다는 점은 주목할 만합니다. 이 관찰을 더 깊이 탐구하기 위해 NQ 및 SQuAD 개발 분할에 대해 Adapt-LLM(NQ 및 SQuAD에서 학습된 두 버전 모두)을 평가하여 데이터 세트의 gold passages를 사용할 때와 IR 시스템인 Contriever [11]에서 검색한 컨텍스트를 사용할 때의 성능을 비교하는 추가 실험을 수행합니다. 안타깝게도 PopQA는 gold passages를 제공하지 않으므로 직접 평가가 불가능했습니다.
그러나 표 3에서 볼 수 있듯이 검색된 컨텍스트로 질문에 답할 때 모델의 전체 성능(약 33%)이 상대적으로 낮다는 점은 주목할 만합니다. 이 관찰을 더 깊이 탐구하기 위해 NQ 및 SQuAD 개발 분할에 대해 Adapt-LLM(NQ 및 SQuAD에서 학습된 두 버전 모두)을 평가하여 데이터 세트의 골드 구절을 사용할 때와 IR 시스템인 Contriever [11]에서 검색한 컨텍스트를 사용할 때의 성능을 비교하는 추가 실험을 수행합니다. 안타깝게도 PopQA는 골드 구절을 제공하지 않으므로 직접 평가가 불가능했습니다.