We use QuAC and DoQA datasets which have such unanswerable cases to evaluate such capability. Specifically, for unanswerable case, we consider the model indicating that the question cannot be answered as correct8, and as for answerable cases, we consider the model not indicating the question is unanswerable as correct (i.e., the model giving an answer). Note that for answerable cases, we only select the samples where correct context is retrieved. Our model checkpoints (ChatQA-70B w/ 1.5k unanswerable and ChatQA-70B w/ SyntheticConvQA) are same ones reported in Table 2.
이러한 unanswerable 사례가 있는 QuAC 및 DoQA 데이터 세트를 사용하여 이러한 기능을 평가합니다. 구체적으로, unanswerable 사례의 경우에는 모델이 질문에 답변할 수 없음을 나타내는 것을 정답으로 간주하고, answerable 사례의 경우에는 모델이 질문에 답변할 수 없음을 나타내지 않는 것을 정답으로 간주합니다(즉, 모델이 답변을 제공하는 경우). answerable 사례의 경우에는 정답 문맥이 검색된 샘플만 선택한다는 점에 유의하세요. 모델 checkpoints (ChatQA-70B w/ 1.5k unanswerable 및 ChatQA-70B w/ SyntheticConvQA)는 표 2에 보고된 것과 동일합니다.
이러한 무답변 사례가 있는 QuAC 및 DoQA 데이터 세트를 사용하여 이러한 기능을 평가합니다. 구체적으로, 답변할 수 없는 경우에는 모델이 질문에 답변할 수 없음을 나타내는 것을 정답으로 간주하고8, 답변 가능한 경우에는 모델이 질문에 답변할 수 없음을 나타내지 않는 것을 정답으로 간주합니다(즉, 모델이 답변을 제공하는 경우). 답변 가능한 경우에는 정답 문맥이 검색된 샘플만 선택한다는 점에 유의하세요. 모델 체크포인트(답변 불가능한 경우 ChatQA-70B 및 합성 컨텍스트가 있는 경우 ChatQA-70B)는 표 2에 보고된 것과 동일합니다.