Retrieval setup details.By default, we use Contriever-MS MARCO to retrieve the top five documents from Wikipedia, and use official Wikipedia embeddings based on 2018 English Wikipedia. On PopQA, where question and answer pairs are created based on WikiData in 2022, we found that the 2018 Wikipedia sometimes lacks articles about some entities that have been more recently added to Wikipedia. Therefore, for PopQA, we used the December 2020 preprocessed Wikipedia corpus provided by Izacard et al. (2022b) and generated document embeddings.8 The issues of performance variance from different Wikipedia dumps have been reported by prior work (Asai et al., 2020; Izacard et al., 2022b). Yet, we observe limited effectiveness of such off-the-shelf retrieval models trained primarily on knowledge-intensive tasks for open-ended generation (e.g., instruction following). Recent or concurrent work studies instruction-tuning of retrieval systems (Asai et al., 2023b) or joint training of retrieval and LM components (Lin et al., 2023), while we leave exploring the effectiveness of such approaches for future work. For bio generation and open-domain QA tasks, we additionally retrieve five documents using Google Programmable Search9 and search documents from English Wikipedia. As this API only provides snippets, we retrieve Wikipedia introductory paragraphs for the corresponding entities.
검색 설정 세부 정보. 기본적으로 위키피디아에서 상위 5개 문서를 검색하기 위해 Contriever-MS MARCO를 사용하고, 2018년 영어 위키피디아를 기반으로 하는 공식 위키피디아 임베딩을 사용합니다. 2022년에 위키데이터를 기반으로 질문과 답변 쌍이 생성되는 PopQA에서는 2018년 위키피디아에 최근에 위키피디아에 추가된 일부 개체에 대한 문서가 부족한 경우가 있음을 발견했습니다. 따라서 PopQA의 경우, Izacard 등(2022b)이 제공한 2020년 12월 전처리된 위키피디아 말뭉치를 사용하여 문서 임베딩을 생성했습니다. 다양한 위키피디아 덤프에서 성능 차이 문제는 이전 작업(Asai et al., 2020; Izacard et al., 2022b)에서 보고된 바 있습니다. 그러나 주로 지식 집약적인 작업(예: Instruction 수행)에 대해 학습된 이러한 기성 검색 모델의 효과는 제한적이라는 것을 관찰했습니다. 최근 또는 동시에 진행되는 작업에서는 검색 시스템의 Instruction Tuning(Asai et al., 2023b) 또는 검색 및 LM 구성 요소의 공동 학습(Lin et al., 2023)을 연구하고 있으며, 향후 작업에 대한 이러한 접근 방식의 효과를 탐색하는 것을 남겨두었습니다. 바이오 생성 및 오픈 도메인 QA 작업의 경우, Google Programmable Search를 사용하여 5개의 문서를 검색하고 영어 위키피디아의 검색 문서를 추가로 검색합니다. 이 API는 스니펫만 제공하므로 해당 엔티티에 대한 위키피디아 소개 단락을 검색합니다.
검색 설정 세부 정보.기본적으로 위키피디아에서 상위 5개 문서를 검색하기 위해 Contriever-MS MARCO를 사용하고, 2018년 영어 위키피디아를 기반으로 하는 공식 위키피디아 임베딩을 사용합니다. 2022년에 위키데이터를 기반으로 질문과 답변 쌍이 생성되는 PopQA에서는 2018년 위키피디아에 최근에 위키피디아에 추가된 일부 개체에 대한 문서가 부족한 경우가 있음을 발견했습니다. 따라서 PopQA의 경우, Izacard 등(2022b)이 제공한 2020년 12월 전처리된 위키피디아 말뭉치를 사용하여 문서 임베딩을 생성했습니다.8 다양한 위키피디아 덤프에서 성능 차이 문제는 이전 작업(Asai et al., 2020; Izacard et al., 2022b)에서 보고된 바 있습니다. 그러나 주로 지식 집약적인 작업(예: 지침 수행)에 대해 학습된 이러한 기성 검색 모델의 효과는 제한적이라는 것을 관찰했습니다. 최근 또는 동시에 진행되는 작업에서는 검색 시스템의 지침 조정(Asai et al., 2023b) 또는 검색 및 LM 구성 요소의 공동 학습(Lin et al., 2023)을 연구하고 있으며, 향후 작업에 대한 이러한 접근 방식의 효과를 탐색하는 것을 남겨두었습니다. 바이오 생성 및 오픈 도메인 QA 작업의 경우, Google 프로그래밍 가능 검색9를 사용하여 5개의 문서를 검색하고 영어 위키피디아의 검색 문서를 추가로 검색합니다. 이 API는 스니펫만 제공하므로 해당 엔티티에 대한 위키피디아 소개 단락을 검색합니다.