We evaluate LLMs on the closed-book QA task, focusing on the PopQA dataset Mallen et al. (2023) characterized by questions that covers a long-tail entity distribution. It also includes unique Wikipedia titles, facilitating the calculation of pageviews and identification of relevant Wikipedia pages. We acquire the relevant Wikipedia page for each subject entity in the PopQA dataset and divide the entities into five buckets based on their popularity levels (Figure 2).
우리는 PopQA 데이터셋 Mallen et al. (2023)을 중심으로, 롱테일 엔티티 분포를 다루는 질문들로 특징지어진 폐쇄형 QA 작업에서 LLM을 평가합니다. 이 데이터셋에는 고유한 위키피디아 제목도 포함되어 있어 페이지뷰 계산과 관련 위키피디아 페이지 식별을 용이하게 합니다. 우리는 PopQA 데이터셋의 각 주제 엔티티에 대한 관련 위키피디아 페이지를 획득하고, 엔티티를 인기도 수준에 따라 다섯 개의 버킷으로 나눕니다 (Figure 2).
우리는 긴 꼬리 엔티티 분포를 포함하는 질문으로 특징지어지는 PopQA 데이터 세트 Mallen et al. (2023)을 중심으로 폐쇄형 서책 QA 작업에서 LLM을 평가합니다. 또한 고유한 Wikipedia 제목이 포함되어 있어 페이지 조회 수를 계산하고 관련 Wikipedia 페이지를 식별하는 것이 용이합니다. PopQA 데이터 세트의 각 주제 엔티티에 대해 관련 Wikipedia 페이지를 획득하고 인기도 수준에 따라 엔티티를 5개의 버킷으로 나눕니다(그림 2).