**Commonsense Reasoning:**: We included PIQA[4], SIQA[63], HellaSwag[89], WinoGrande [62], ARC[11], OpenBookQA(OBQA)[50], and CommonsenseQA(CSQA)[75] to assess common sense reasoning. CSQA was exclusively tested using a 7-shot setup, while all other tests were conducted with a 0-shot configuration. **Reading Comprehension:**: For reading comprehension, we report the 0-shot average on SQuAD[61], QuAC[8], and BoolQ[10]. **Math:**: We report the average of the GSM8K[12] (8 shot), and MATH[28] (4 shot) benchmarks with pass@1 accuracy without any specific prompting strategy (e.g. Chain-of-Thought prompting) and other ensemble technique (e.g., majority voting).
**상식 추론**: 상식 추론을 평가하기 위해 PIQA[4], SIQA[63], HellaSwag[89], WinoGrande [62], ARC[11], OpenBookQA(OBQA)[50], CommonsenseQA(CSQA)[75]를 포함했습니다. CSQA는 7-shot 설정으로만 테스트되었으며, 다른 모든 테스트는 0-shot 구성으로 수행되었습니다. **독해력**: 독해력의 경우 SQuAD[61], QuAC[8], BoolQ[10]에 대한 0-shot 평균을 보고합니다. **수학**: 특정 prompting 전략(예: Chain-of-Thought prompting) 및 기타 ensemble 기법(예: majority voting) 없이 GSM8K[12](8-shot) 및 MATH[28](4-shot) 벤치마크의 평균을 pass@1 정확도로 보고합니다.
**상식 추론**: 상식 추론을 평가하기 위해 PIQA[4], SIQA[63], HellaSwag[89], WinoGrande [62], ARC[11], OpenBookQA(OBQA)[50], CommonsenseQA(CSQA)[75]를 포함했습니다. CSQA는 7샷 설정으로만 테스트되었으며, 다른 모든 테스트는 0샷 구성으로 수행되었습니다. **독해력**: 독해력의 경우 SQuAD[61], QuAC[8], BoolQ[10]에 대한 0샷 평균을 보고합니다. **수학**: 특정 프롬프트 전략(예: 생각의 사슬 프롬프트) 및 기타 앙상블 기법(예: 다수결) 없이 GSM8K[12](8샷) 및 MATH[28](4샷) 벤치마크의 평균을 pass@1 정확도로 보고합니다.