**Short-form generations tasks** include two open-domain question answering (QA) datasets, PopQA (Mallen et al., 2023) and TriviaQA-unfiltered (Joshi et al., 2017), where systems need to answer arbitrary questions about factual knowledge. For PopQA, we use the long-tail subset, consisting of 1,399 rare entity queries whose monthly Wikipedia page views are less than 100. As the TriviaQA-unfiltered (open) test set is not publicly available, we follow prior work's validation and test split (Min et al., 2019; Guu et al., 2020), using 11,313 test queries for evaluation. We evaluate performance based on whether gold answers are included in the model generations instead of strictly requiring exact matching, following Mallen et al. (2023); Schick et al. (2023).
**단문 생성 작업**에는 두 개의 공개 도메인 question answering (QA) 데이터 세트인 PopQA(Mallen et al., 2023)와 TriviaQA-unfiltered(Joshi et al., 2017)이 포함되며, 시스템은 사실적 지식에 대한 임의의 질문에 답해야 합니다. PopQA의 경우 월간 Wikipedia 페이지 조회수가 100 미만인 희귀 엔티티 쿼리 1,399개로 구성된 롱테일 하위 집합을 사용합니다. TriviaQA-unfiltered(오픈) 테스트 세트는 공개되지 않았으므로, 선행 연구의 유효성 검사 및 테스트 분할(Min et al., 2019; Guu et al., 2020)을 따르며, 11,313개의 테스트 쿼리를 평가에 사용합니다. Mallen et al. (2023); Schick et al. (2023)에 따라 엄격하게 정확한 일치를 요구하는 대신 gold answers가 모델 생성에 포함되어 있는지 여부를 기준으로 성능을 평가합니다.
**단문 생성 작업**에는 두 개의 공개 도메인 질문 답변(QA) 데이터 세트인 PopQA(Mallen et al., 2023)와 TriviaQA-unfiltered(Joshi et al., 2017)이 포함되며, 시스템은 사실적 지식에 대한 임의의 질문에 답해야 합니다. PopQA의 경우 월간 Wikipedia 페이지 조회수가 100 미만인 희귀 엔티티 쿼리 1,399개로 구성된 롱테일 하위 집합을 사용합니다. TriviaQA-unfiltered(오픈) 테스트 세트는 공개되지 않았으므로, 선행 연구의 유효성 검사 및 테스트 분할(Min et al., 2019; Guu et al., 2020)을 따르며, 11,313개의 테스트 쿼리를 평가에 사용합니다. Mallen et al. (2023); Schick et al. (2023)에 따라 엄격하게 정확한 일치를 요구하는 대신 금본문이 모델 생성에 포함되어 있는지 여부를 기준으로 성능을 평가합니다.