In Table 7, we compare our models with OpenAI models across QuAC and DoQA datasets. First, we find that compared to using SyntheticConvQA, using HumanAnnotatedConvQA significantly increase the average accuracies on both QuAC and DoQA. It is because the unanswerable annotations are in higher quality for human-annotated data, which significantly improve the accuracy for unanswerable cases. Second, OpenAI models show powerful capability in this task, especially for GPT-4. Compared to them, our best model achieved significantly better average accuracy than GPT-3.5-turbo, while we still has a slight gap compared to GPT-4 (around 3.5%). Third, we find that models achieving higher accuracy on unanswerable samples tends to get lower accuracy on answerable samples, and vice versa. We speculate that when a model tends to be "aggressive" and offer somewhat relevant answers to those unanswerable questions, it will boost the accuracy for answerable cases, but reduces accuracy for unanswerable ones. Conversely, when a model is more "conservative" and strictly check if the question can be answered will result in the opposite effects.
표 7에서는 QuAC 및 DoQA 데이터 세트에서 OpenAI 모델과 우리 모델을 비교합니다. 먼저, SyntheticConvQA를 사용하는 것과 비교하여 HumanAnnotatedConvQA를 사용하면 QuAC와 DoQA 모두에서 평균 정확도가 크게 향상됩니다. 이는 무답 어노테이션이 인간이 주석을 단 데이터의 경우 더 높은 품질로 되어 있기 때문에 무답 사례의 정확도가 크게 향상되기 때문입니다. 둘째, OpenAI 모델은 이 작업에서 강력한 기능을 보여주며, 특히 GPT-4의 경우 더욱 그렇습니다. 이들과 비교했을 때, 우리의 최고 모델은 GPT-3.5-turbo보다 훨씬 더 높은 평균 정확도를 달성했지만, GPT-4와 비교했을 때 여전히 약간의 격차가 남아 있습니다(약 3.5%). 셋째, 무답 샘플에서 더 높은 정확도를 달성하는 모델은 답이 가능한 샘플에서 더 낮은 정확도를 얻는 경향이 있으며, 그 반대의 경우도 마찬가지입니다. 우리는 모델이 "aggressive"이고 답이 없는 질문에 어느 정도 관련성 있는 답을 제공하는 경향이 있으면 답이 가능한 경우의 정확도는 높아지지만 답이 없는 경우의 정확도는 떨어진다는 추측을 합니다. 반대로 모델이 더 "conservative"이고 질문에 답할 수 있는지 엄격하게 검사하면 반대의 효과가 발생합니다.
표 7에서는 QuAC 및 DoQA 데이터 세트에서 OpenAI 모델과 우리 모델을 비교합니다. 먼저, SyntheticConvQA를 사용하는 것과 비교하여 HumanAnnotatedConvQA를 사용하면 QuAC와 DoQA 모두에서 평균 정확도가 크게 향상됩니다. 이는 무답 어노테이션이 인간이 주석을 단 데이터의 경우 더 높은 품질로 되어 있기 때문에 무답 사례의 정확도가 크게 향상되기 때문입니다. 둘째, OpenAI 모델은 이 작업에서 강력한 기능을 보여주며, 특히 GPT-4의 경우 더욱 그렇습니다. 이들과 비교했을 때, 우리의 최고 모델은 GPT-3.5-turbo보다 훨씬 더 높은 평균 정확도를 달성했지만, GPT-4와 비교했을 때 여전히 약간의 격차가 남아 있습니다(약 3.5%). 셋째, 무답 샘플에서 더 높은 정확도를 달성하는 모델은 답이 가능한 샘플에서 더 낮은 정확도를 얻는 경향이 있으며, 그 반대의 경우도 마찬가지입니다. 우리는 모델이 "공격적"이고 답이 없는 질문에 어느 정도 관련성 있는 답을 제공하는 경향이 있으면 답이 가능한 경우의 정확도는 높아지지만 답이 없는 경우의 정확도는 떨어진다는 추측을 합니다. 반대로 모델이 더 "보수적"이고 질문에 답할 수 있는지 엄격하게 검사하면 반대의 효과가 발생합니다.