InscitWe use the validation set of TopiOCQA since its test set is not available yet. Its validation set consists of 86 dialogues with 502 user-agent turns. Each question has an average of 1.9 human-written answers. It has unanswerable response for a few questions. However, we do not include this dataset in unanswerable case evaluation because every question always has at least one answerable response, which means every question is answerable. INSCIT also use the whole Wikipedia as the retrieval corpus. Hence, we also leverage its topic information for multi-turn retrieval for the same reason mentioned in TopiOCQA.
인스싯TopiOCQA의 테스트 세트는 아직 사용할 수 없기 때문에 TopiOCQA의 validation 세트를 사용합니다. validation 세트는 502개의 사용자 에이전트 턴이 있는 86개의 대화로 구성됩니다. 각 질문에는 평균 1.9개의 사람이 작성한 답변이 있습니다. 몇 가지 질문에 대해서는 답변할 수 없는 응답이 있습니다. 그러나 모든 질문에 항상 하나 이상의 답변 가능한 응답이 있으므로 모든 질문에 답변할 수 있다는 의미이므로 이 데이터 세트를 답변할 수 없는 경우 평가에 포함하지 않습니다. INSCIT은 또한 전체 Wikipedia를 retrieval corpus로 사용합니다. 따라서 Wikipedia의 topic 정보를 TopiOCQA에서 언급한 것과 동일한 이유로 multi-turn retrieval에 활용합니다.
인스싯TopiOCQA의 테스트 세트는 아직 사용할 수 없기 때문에 TopiOCQA의 유효성 검사 세트를 사용합니다. 유효성 검사 세트는 502개의 사용자 에이전트 턴이 있는 86개의 대화로 구성됩니다. 각 질문에는 평균 1.9개의 사람이 작성한 답변이 있습니다. 몇 가지 질문에 대해서는 답변할 수 없는 응답이 있습니다. 그러나 모든 질문에 항상 하나 이상의 답변 가능한 응답이 있으므로 모든 질문에 답변할 수 있다는 의미이므로 이 데이터 세트를 답변할 수 없는 경우 평가에 포함하지 않습니다. INSCIT은 또한 전체 위키피디아를 검색 코퍼스로 사용합니다. 따라서 위키피디아의 주제 정보를 TopiOCQA에서 언급한 것과 동일한 이유로 다중 턴 검색에 활용합니다.