Despite F1 scores are the most commonly used metrics for evaluating the quality of QA models, there are often multiple ways to answer questions, which makes the automatic metrics less than perfect. Therefore, we use human evaluations to further compare our ChatQA-70B with GPT-4. In this human evaluation, we ask annotators to verify the facts in ChatQA-70B and GPT-4's outputs and determine which model provides a more accurate response to the question6. The human evaluation results over the 10 datasets are shown in Table 3. We first find that our ChatQA-70B and GPT-4 are tie most of the time (69.09%), and GPT-4 achieves slightly higher win rate (\(\sim\)3.3%) than ours. This further confirms our model has powerful capability to produce correct answers. Second, we find that our model achieves slightly better win rate than GPT-4 in ConvFinQA, which indicates the strong arithmetic calculation ability of our model. Third, we find that GPT-4 achieves significantly better win rate in SQA task, which suggests that there is still a gap between our model and GPT-4 on tabular reasoning task.
F1 점수는 QA 모델의 품질을 평가하는 데 가장 일반적으로 사용되는 metrics이지만, 질문에 답하는 방법에는 여러 가지가 있을 수 있으므로 자동 metrics이 완벽하지 않은 경우가 많습니다. 따라서 human evaluations을 통해 ChatQA-70B와 GPT-4를 추가로 비교합니다. 이 human evaluation에서는 주관평가자에게 ChatQA-70B와 GPT-4의 출력에 있는 사실을 확인하고 어떤 모델이 질문에 대한 보다 정확한 답변을 제공하는지 결정하도록 요청합니다6. 10개의 데이터 세트에 대한 human evaluation 결과는 표 3에 나와 있습니다. 먼저, 우리의 ChatQA-70B와 GPT-4가 대부분 동점인 경우가 많으며(69.09%), GPT-4가 우리보다 약간 높은 승률(~3.3%)을 달성한다는 것을 알 수 있습니다. 이는 우리 모델이 정답을 생성할 수 있는 강력한 능력을 가지고 있음을 다시 한 번 확인시켜 줍니다. 둘째, 우리 모델이 ConvFinQA에서 GPT-4보다 약간 더 높은 승률을 달성했으며, 이는 우리 모델의 강력한 산술 계산 능력을 나타냅니다. 셋째, GPT-4가 SQA task에서 훨씬 더 높은 승률을 달성했으며, 이는 표 형식의 추론 task에서 우리 모델과 GPT-4 사이에 여전히 격차가 있음을 시사합니다.
F1 점수는 QA 모델의 품질을 평가하는 데 가장 일반적으로 사용되는 메트릭이지만, 질문에 답하는 방법에는 여러 가지가 있을 수 있으므로 자동 메트릭이 완벽하지 않은 경우가 많습니다. 따라서 인간 평가를 통해 ChatQA-70B와 GPT-4를 추가로 비교합니다. 이 인간 평가에서는 주관평가자에게 ChatQA-70B와 GPT-4의 출력에 있는 사실을 확인하고 어떤 모델이 질문에 대한 보다 정확한 답변을 제공하는지 결정하도록 요청합니다6. 10개의 데이터 세트에 대한 인간 평가 결과는 표 3에 나와 있습니다. 먼저, 우리의 ChatQA-70B와 GPT-4가 대부분 동점인 경우가 많으며(69.09%), GPT-4가 우리보다 약간 높은 승률(\(\sim\)3.3%)을 달성한다는 것을 알 수 있습니다. 이는 우리 모델이 정답을 생성할 수 있는 강력한 능력을 가지고 있음을 다시 한 번 확인시켜 줍니다. 둘째, 우리 모델이 ConvFinQA에서 GPT-4보다 약간 더 높은 승률을 달성했으며, 이는 우리 모델의 강력한 산술 계산 능력을 나타냅니다. 셋째, GPT-4가 SQA 과제에서 훨씬 더 높은 승률을 달성했으며, 이는 표 형식의 추론 과제에서 우리 모델과 GPT-4 사이에 여전히 격차가 있음을 시사합니다.