Given that F1 score is the most commonly used automatic metric to assess QA models, we use it for all datasets except for ConvFinQA. In ConvFinQA, we follow Chen et al. (2022) to use exact match metric since the answers in ConvFinQA are about extracting numbers from documents as well as arithmetic calculations. Hence, the answer only makes sense when it is exactly the same as the answer. When models generate the arithmetic formula, we will calculate its final result based on a calculator and compare it with the gold answer.
F1 점수가 QA 모델을 평가하는 데 가장 일반적으로 사용되는 자동 metric이라는 점을 감안하여 ConvFinQA를 제외한 모든 데이터 세트에 대해 F1 점수를 사용합니다. ConvFinQA에서는 문서에서 숫자를 추출하고 산술 계산을 하는 등의 작업을 수행하기 때문에 Chen et al. (2022)에 따라 exact match metric을 사용합니다. 따라서 답은 답과 정확히 같을 때만 의미가 있습니다. 모델이 산술 공식을 생성하면 계산기를 기반으로 최종 결과를 계산하여 gold answer와 비교합니다.
F1 점수가 QA 모델을 평가하는 데 가장 일반적으로 사용되는 자동 메트릭이라는 점을 감안하여 ConvFinQA를 제외한 모든 데이터 세트에 대해 F1 점수를 사용합니다. ConvFinQA에서는 문서에서 숫자를 추출하고 산술 계산을 하는 등의 작업을 수행하기 때문에 Chen et al. (2022)에 따라 정확도 메트릭을 사용합니다. 따라서 답은 답과 정확히 같을 때만 의미가 있습니다. 모델이 산술 공식을 생성하면 계산기를 기반으로 최종 결과를 계산하여 금색 답과 비교합니다.