We conducted a comprehensive evaluation of the model across various math reasoning benchmarks, encompassing a range of difficulties from elementary to university level, multiple mathematical domains, and diverse question types including multiple-choice and open-ended questions. Our benchmarks include GSM8k [Cobbe et al., 2021], MATH [Hendrycks et al., 2021], GSM-Hard [Gao et al., 2022], SVAMP [Patel et al., 2021], ASDIV [Miao et al., 2020], MAWPS [Koncel-Kedziorski et al., 2016], TabMWP (TAB) [Lu et al., 2023], MathQA (MQA) [Amini et al., 2019], MMLU-STEM [Hendrycks et al., 2020], and SAT [Azerbayev et al., 2023].
우리는 초등학교부터 대학교 수준까지 다양한 난이도의 수학 추론 벤치마크, 여러 수학적 영역, 그리고 객관식 및 주관식 질문 유형을 포함한 포괄적인 모델 평가를 수행했습니다. 우리의 벤치마크에는 GSM8k [Cobbe et al., 2021], MATH [Hendrycks et al., 2021], GSM-Hard [Gao et al., 2022], SVAMP [Patel et al., 2021], ASDIV [Miao et al., 2020], MAWPS [Koncel-Kedziorski et al., 2016], TabMWP (TAB) [Lu et al., 2023], MathQA (MQA) [Amini et al., 2019], MMLU-STEM [Hendrycks et al., 2020], 그리고 SAT [Azerbayev et al., 2023]가 포함됩니다.
초등학교부터 대학 수준까지 다양한 난이도, 여러 수학 영역, 객관식 및 주관식 문제 등 다양한 문제 유형을 포함하는 다양한 수학 추론 벤치마크에 걸쳐 모델에 대한 종합적인 평가를 실시했습니다. 벤치마크에는 GSM8k [Cobbe et al., 2021], MATH [Hendrycks et al., 2021], GSM-Hard [Gao et al., 2022], SVAMP [Patel et al., 2021], ASDIV [Miao et al., 2020], MAWPS [Koncel-Kedziorski et al., 2016], TabMWP(TAB) [Lu et al., 2023], MathQA(MQA) [Amini et al., 2019], MMLU-STEM [Hendrycks et al., 2020], SAT [Azerbayev et al., 2023] 등이 있습니다.