More similar to our work, Mallen, Alex Troy and Asai, Akari and Zhong, Victor and Das, Rajarshi and Khashabi, Daniel and Hajishirzi, Hannaneh [22] propose a dataset and method for measuring when non-parametric information needs to be retrieved. They present the PopQA dataset that contains 14K questions about a set of entities with varying popularity. The popularity of an entity is measured by the page views of its Wikipedia page. In order to solve this QA task, they use a popularity score threshold calculated on the PopQA dataset. If the popularity score of an individual entity is below the threshold they perform a retrieval step. On the contrary, if the score is greater than the threshold they directly answer the question. This method yields better results than vanilla retrieval but it requires the calculation of a popularity score that is not available in realistic QA scenarios.
우리의 연구와 더 유사하게, Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]는 비모수적 정보를 검색해야 하는 시점을 측정하기 위한 데이터 세트와 방법을 제안합니다. 이들은 다양한 인기도를 가진 엔티티 집합에 대한 14K 개의 질문이 포함된 PopQA 데이터 세트를 제시합니다. 엔티티의 인기도는 해당 Wikipedia 페이지의 페이지 조회수로 측정됩니다. 이 QA 작업을 해결하기 위해 그들은 PopQA 데이터 세트에서 계산된 인기도 점수 임계값을 사용합니다. 개별 엔티티의 인기도 점수가 임계값보다 낮으면 retrieval 단계를 수행합니다. 반대로 점수가 임계값보다 높으면 질문에 직접 답변합니다. 이 방법은 일반적인 retrieval보다 더 나은 결과를 제공하지만 현실적인 QA 시나리오에서는 사용할 수 없는 인기도 점수를 계산해야 합니다.
우리의 연구와 더 유사하게, Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]는 비모수적 정보를 검색해야 하는 시점을 측정하기 위한 데이터 세트와 방법을 제안합니다. 이들은 다양한 인기도를 가진 엔티티 집합에 대한 14K 개의 질문이 포함된 PopQA 데이터 세트를 제시합니다. 엔티티의 인기도는 해당 위키백과 페이지의 페이지 조회수로 측정됩니다. 이 QA 작업을 해결하기 위해 그들은 PopQA 데이터 세트에서 계산된 인기도 점수 임계값을 사용합니다. 개별 엔티티의 인기도 점수가 임계값보다 낮으면 검색 단계를 수행합니다. 반대로 점수가 임계값보다 높으면 질문에 직접 답변합니다. 이 방법은 일반적인 검색보다 더 나은 결과를 제공하지만 현실적인 QA 시나리오에서는 사용할 수 없는 인기도 점수를 계산해야 합니다.