**Baseline Performance.** As shown in Table 2, we find that \(M^{L}\) (equivalent to FLAN-T5 XXL) does not benefit from the original CoT prompting, as its EM and F1 scores dropped in both datasets (except for answer inclusion score for HotpotQA) when compared to standard prompting. This is consistent with previous research findings that models with less than 50B parameters exhibit limited reasoning capabilities. We also observe that the performance drop is more significant with 2WikiMultihopQA (nearly 10% for EM and F1) than HotpotQA. Based on our manual inspection of incorrect predictions, \(M^{L}\) was prone to repeat sentences in the context and fail to provide a final answer to the questions.
**Baseline Performance.** 표 2와 같이, 우리는 \(M^{L}\)(FLAN-T5 XXL에 해당)이 표준 prompting과 비교했을 때 두 데이터 세트(HotpotQA의 답변 포함 점수 제외)에서 EM 및 F1 점수가 하락했기 때문에 원래의 CoT prompting의 이점을 얻지 못한다는 것을 알 수 있습니다. 이는 파라미터가 500억 개 미만인 모델은 추론 기능이 제한적이라는 이전 연구 결과와 일치합니다. 또한 HotpotQA보다 2WikiMultihopQA에서 성능 저하가 더 심각하다는 점(EM 및 F1의 경우 거의 10%)도 관찰할 수 있습니다. 잘못된 예측을 수동으로 검사한 결과, \(M^{L}\)은 문맥에서 문장을 반복하고 질문에 대한 최종 답을 제공하지 못하는 경향이 있었습니다.
**기준 성능.** 표 2와 같이, 우리는 \(M^{L}\)(FLAN-T5 XXL에 해당)이 표준 프롬프트와 비교했을 때 두 데이터 세트(HotpotQA의 답변 포함 점수 제외)에서 EM 및 F1 점수가 하락했기 때문에 원래의 CoT 프롬프트의 이점을 얻지 못한다는 것을 알 수 있습니다. 이는 파라미터가 500억 개 미만인 모델은 추론 기능이 제한적이라는 이전 연구 결과와 일치합니다. 또한 HotpotQA보다 2WikiMultihopQA에서 성능 저하가 더 심각하다는 점(EM 및 F1의 경우 거의 10%)도 관찰할 수 있습니다. 잘못된 예측을 수동으로 검사한 결과, \(M^{L}\)은 문맥에서 문장을 반복하고 질문에 대한 최종 답을 제공하지 못하는 경향이 있었습니다.