In Table 2, we also compare our ChatQA models using the 7k GPT-3.5-Turbo synthetic dataset (SyntheticConvQA) and our collected 7k human-annotated dataset (HumanAnnotatedConvQA). First, we find that both achieve comparable results in terms of average scores, which suggests that we do not need to rely on synthetic data from OpenAI models to build the state-of-the-art conversational QA models. Second, we find that using human-annotated data achieved significant improvements on QuAC and DoQA datasets. This can be attributed to the fact that the human-annotated data have higher quality on unanswerable cases which exists in QuAC and DoQA datasets. Eventually, it leads to the overall improvements on these two datasets. Detail results and analyses on unanswerable cases can be found in SS6.5).
표 2에서는 7k GPT-3.5-Turbo 합성 데이터 세트(SyntheticConvQA)와 수집된 7k 인간 주석 데이터 세트(HumanAnnotatedConvQA)를 사용하여 ChatQA 모델을 비교하기도 합니다. 먼저, 두 모델 모두 평균 점수 측면에서 비슷한 결과를 달성하므로 최첨단 대화형 QA 모델을 구축하기 위해 OpenAI 모델의 synthetic data에 의존할 필요가 없음을 알 수 있습니다. 둘째, 인간이 주석을 단 데이터를 사용하면 QuAC 및 DoQA 데이터 세트에서 상당한 개선 효과를 얻을 수 있음을 발견했습니다. 이는 인간이 주석을 단 데이터가 QuAC 및 DoQA 데이터 세트에 존재하는 답변할 수 없는 경우에 더 높은 품질을 가지고 있다는 사실에 기인합니다. 결국 이 두 데이터 세트의 전반적인 개선으로 이어집니다. 답변할 수 없는 사례에 대한 자세한 결과와 분석은 SS6.5)에서 확인할 수 있습니다.
표 2에서는 7k GPT-3.5-Turbo 합성 데이터 세트(SyntheticConvQA)와 수집된 7k 인간 주석 데이터 세트(HumanAnnotatedConvQA)를 사용하여 ChatQA 모델을 비교하기도 합니다. 먼저, 두 모델 모두 평균 점수 측면에서 비슷한 결과를 달성하므로 최첨단 대화형 QA 모델을 구축하기 위해 OpenAI 모델의 합성 데이터에 의존할 필요가 없음을 알 수 있습니다. 둘째, 인간이 주석을 단 데이터를 사용하면 QuAC 및 DoQA 데이터 세트에서 상당한 개선 효과를 얻을 수 있음을 발견했습니다. 이는 인간이 주석을 단 데이터가 QuAC 및 DoQA 데이터 세트에 존재하는 답변할 수 없는 경우에 더 높은 품질을 가지고 있다는 사실에 기인합니다. 결국 이 두 데이터 세트의 전반적인 개선으로 이어집니다. 답변할 수 없는 사례에 대한 자세한 결과와 분석은 SS6.5)에서 확인할 수 있습니다.