QuACWe use the validation set of QuAC for the evaluation since its test set cannot be directly obtained. Its validation set consists of 1000 dialogs with 7354 user-agent turns. Among these 7354 user-agent turns, there are 1486 (around 20.2%) unanswerable questions. For the combined evaluation of answerable and unanswerable questions, we set the ground truth response for the unanswerable question as "Sorry. I cannot find the answer based on the context.", same as the one we set in our stage-2 tuning. For the fair comparison, we replace the unanswerable responses in the baseline models (i.e., Llama2-SFT/Chat, GPT-3.5-turbo, GPT-4) with the same sentence (Details can be found in Appendix E).
QuAC 테스트 세트를 직접 구할 수 없기 때문에 평가를 위해 QuAC의 validation 세트를 사용합니다. validation 세트는 7354개의 사용자 에이전트 턴이 있는 1000개의 대화로 구성됩니다. 이 7354개의 사용자 에이전트 턴 중 1486개(약 20.2%)는 답변할 수 없는 질문입니다. 답변 가능한 질문과 답변 불가능한 질문의 통합 평가를 위해 답변 불가능한 질문에 대한 기준 트루 응답을 2단계 tuning에서 설정한 것과 동일하게 "죄송합니다. 문맥에 따라 답변을 찾을 수 없습니다."로 설정했습니다. 공정한 비교를 위해 baseline 모델(예: Llama2-SFT/Chat, GPT-3.5-turbo, GPT-4)의 답변 불가능한 응답을 동일한 문장으로 대체합니다(자세한 내용은 부록 E에서 확인할 수 있습니다).
QuAC테스트 세트를 직접 구할 수 없기 때문에 평가를 위해 QuAC의 유효성 검사 세트를 사용합니다. 유효성 검사 세트는 7354개의 사용자 에이전트 턴이 있는 1000개의 대화로 구성됩니다. 이 7354개의 사용자 에이전트 턴 중 1486개(약 20.2%)는 답변할 수 없는 질문입니다. 답변 가능한 질문과 답변 불가능한 질문의 통합 평가를 위해 답변 불가능한 질문에 대한 기준 트루 응답을 2단계 튜닝에서 설정한 것과 동일하게 "죄송합니다. 문맥에 따라 답변을 찾을 수 없습니다."로 설정했습니다. 공정한 비교를 위해 베이스라인 모델(예: Llama2-SFT/Chat, GPT-3.5-turbo, GPT-4)의 답변 불가능한 응답을 동일한 문장으로 대체합니다(자세한 내용은 부록 E에서 확인할 수 있습니다).