We conduct ablation studies in terms of the number of unanswerable samples in HumanAnnotatedConvQA. We find that using a small amount of unanswerable samples (e.g., 1.5k) is able to achieve remarkable results on the unanswerable evaluation, as well as the overall conversational QA score (i.e., Avg-CQA). Interestingly, incorporating more unanswerable samples does not necessarily lead to higher accuracy scores in the unanswerable evaluation.
우리는 HumanAnnotatedConvQA에서 답변할 수 없는 샘플의 수에 대한 소거 연구를 수행합니다. 소량의 답변할 수 없는 샘플(예: 1.5k)을 사용하면 답변할 수 없는 평가에서 놀라운 결과를 얻을 수 있을 뿐만 아니라 전체 대화형 QA 점수(즉, Avg-CQA)에서도 뛰어난 성과를 얻을 수 있음을 발견했습니다. 흥미롭게도, 더 많은 답변할 수 없는 샘플을 포함한다고 해서 반드시 답변할 수 없는 평가에서 더 높은 정확도 점수를 얻는 것은 아닙니다.
HumanAnnotatedConvQA에서 답변할 수 없는 샘플의 수 측면에서 절제 연구를 수행합니다. 소량의 답변 불가능한 샘플(예: 1.5k)을 사용하면 답변 불가능한 평가와 전체 대화형 QA 점수(즉, Avg-CQA)에서 놀라운 결과를 얻을 수 있습니다. 흥미롭게도 더 많은 답변 불가능한 샘플을 통합한다고 해서 답변 불가능한 평가에서 반드시 더 높은 정확도 점수로 이어지지는 않습니다.