For unanswerable case, we consider the model indicating that the question cannot be answered as correct. For answerable cases, we consider the model not indicating the question is unanswerable as correct (i.e., the model giving an answer). We find that ChatQA always generates "Sorry. I cannot find the answer based on the context" when it finds the question is unanswerable, since we use this sentence as a response for unanswerable questions in the stage-2 tuning. As for Llama2-Chat, GPT-3.5-turbo, and GPT-4, their outputs for unanswerable questions usually follow some specific patterns. Below, we list the heuristic matching patterns derived from all generated samples in DoQA and QuAC datasets to determine if the model suggests that the question is unanswerable. When we find the generated output contains the pattern listed below, we interpret it as an indication that the question is unanswerable, and we will replace its answer with "Sorry. I cannot find the answer based on the context." for the F1 evaluation.
답변할 수 없는 경우, 질문에 답변할 수 없음을 나타내는 모델을 정답으로 간주합니다. 답변 가능한 경우, 모델이 질문에 답변할 수 없음을 나타내지 않는 모델을 정답으로 간주합니다(즉, 모델이 답변을 제공하는 경우). ChatQA는 2단계 tuning 단계에서 답변할 수 없는 질문에 대한 응답으로 이 문장을 사용하기 때문에 질문에 답변할 수 없는 경우 항상 "죄송합니다. 문맥에 따라 답변을 찾을 수 없습니다."를 생성한다는 것을 알 수 있습니다. Llama2-Chat, GPT-3.5-turbo 및 GPT-4의 경우, 답변할 수 없는 질문에 대한 출력은 일반적으로 몇 가지 특정 패턴을 따릅니다. 아래에서는 DoQA 및 QuAC 데이터 세트에서 생성된 모든 샘플에서 도출된 heuristic matching 패턴을 나열하여 모델이 질문에 답변할 수 없음을 제안하는지 여부를 결정합니다. 생성된 출력에 아래에 나열된 패턴이 포함되어 있으면 질문에 답변할 수 없음을 나타내는 것으로 해석하고, F1 평가를 위해 답변을 "죄송합니다. 문맥에 따라 답변을 찾을 수 없습니다."로 대체합니다.
답변할 수 없는 경우, 질문에 답변할 수 없음을 나타내는 모델을 정답으로 간주합니다. 답변 가능한 경우, 모델이 질문에 답변할 수 없음을 나타내지 않는 모델을 정답으로 간주합니다(즉, 모델이 답변을 제공하는 경우). ChatQA는 2단계 튜닝 단계에서 답변할 수 없는 질문에 대한 응답으로 이 문장을 사용하기 때문에 질문에 답변할 수 없는 경우 항상 "죄송합니다. 문맥에 따라 답변을 찾을 수 없습니다."를 생성한다는 것을 알 수 있습니다. Llama2-Chat, GPT-3.5-turbo 및 GPT-4의 경우, 답변할 수 없는 질문에 대한 출력은 일반적으로 몇 가지 특정 패턴을 따릅니다. 아래에서는 DoQA 및 QuAC 데이터 세트에서 생성된 모든 샘플에서 도출된 휴리스틱 매칭 패턴을 나열하여 모델이 질문에 답변할 수 없음을 제안하는지 여부를 결정합니다. 생성된 출력에 아래에 나열된 패턴이 포함되어 있으면 질문에 답변할 수 없음을 나타내는 것으로 해석하고, F1 평가를 위해 답변을 "죄송합니다. 문맥에 따라 답변을 찾을 수 없습니다."로 대체합니다.