**Baselines and Evaluation Metrics.** We use standard prompting and CoT prompting as our baselines (see Table 3). We also experiment with the SC decoding strategy [22], which samples multiple reasoning paths (n=10) and selects the most consistent answer. For evaluation, we report three metrics for the answer prediction task: (1) exact match (EM), computing whether the prediction exactly matches the ground truth answer, (2) F1, computing the average word overlap between the prediction and ground truth answer, and (3) answer inclusion3, computing whether the ground truth answer is mentioned in the prediction.
**Baselines and Evaluation Metrics.** 표준 prompting과 CoT prompting을 베이스라인으로 사용합니다(표 3 참조). 또한 여러 추론 경로(n=10)를 샘플링하고 가장 일관된 답을 선택하는 SC decoding 전략[22]을 실험합니다. 평가를 위해 답변 예측 작업에 대해 세 가지 메트릭을 보고합니다: (1) exact match (EM), 예측이 실측 답변과 정확히 일치하는지 여부를 계산하는 정확도, (2) F1, 예측과 실측 답변 간의 평균 단어 중복을 계산하는 F1, (3) answer inclusion, 예측에 실측 답변이 언급되었는지 여부를 계산합니다.
**베이스라인 및 평가 메트릭.** 표준 프롬프트와 CoT 프롬프트를 베이스라인으로 사용합니다(표 3 참조). 또한 여러 추론 경로(n=10)를 샘플링하고 가장 일관된 답을 선택하는 SC 디코딩 전략[22]을 실험합니다. 평가를 위해 답변 예측 작업에 대해 세 가지 메트릭을 보고합니다: (1) 정확도(EM), 예측이 실측 답변과 정확히 일치하는지 여부를 계산하는 정확도, (2) F1, 예측과 실측 답변 간의 평균 단어 중복을 계산하는 F1, (3) 답변 포함3, 예측에 실측 답변이 언급되었는지 여부를 계산합니다.