Mathematical reasoning is often used to measure the reasoning power of a model. Early benchmarks contain simple arithmetic operations Hosseini et al. (2014); Koncel-Kedziorski et al. (2015); Roy and Roth (2015); Koncel-Kedziorski et al. (2016). Ling et al. (2017) labels the reasoning process in natural language form, and Amini et al. (2019) builds on AQUA by labeling the reasoning process in program form. Later benchmarks Miao et al. (2020); Patel et al. (2021); Cobbe et al. (2021); Gao et al. (2023) contain more complex and diverse questions. Zhu et al. (2021); Chen et al. (2021); Chen et al. (2022) require reasoning based on the table content. There are also general benchmarks Hendrycks et al. (2021); Mishra et al. (2022); Baa et al. (2022) and reading comprehension form benchmarks Dua et al. (2019); Chen et al. (2023). Recently, Yu et al. (2021) endowed pre-trained model with the ability of mathematical reasoning by using hierarchical reasoning and knowledge.
수학적 추론은 종종 모델의 추론력을 측정하는 데 사용됩니다. 초기 벤치마크에는 간단한 산술 연산이 포함되어 있습니다(Hosseini et al., 2014); Koncel-Kedziorski et al. (2015); Roy and Roth (2015); Koncel-Kedziorski et al. (2016). Ling et al. (2017)은 자연어 형식으로 추론 과정에 라벨을 붙이고, Amini et al. (2019)은 프로그램 형식으로 추론 과정에 라벨을 붙여 AQUA를 기반으로 구축했습니다. 이후의 벤치마크 Miao et al. (2020); Patel et al. (2021); Cobbe et al. (2021); Gao et al. (2023)에는 보다 복잡하고 다양한 질문이 포함되어 있습니다. Zhu et al. (2021); Chen et al. (2021); Chen et al. (2022)는 표 내용을 기반으로 추론해야 합니다. 일반적인 벤치마크 Hendrycks et al. (2021); Mishra et al. (2022); Baa et al. (2022) 및 reading comprehension 형식 벤치마크 Dua et al. (2019); Chen et al. (2023)도 있습니다. 최근 Yu et al. (2021)은 계층적 추론과 지식을 사용하여 pre-trained 모델에 수학적 추론 능력을 부여했습니다.
수학적 추론은 종종 모델의 추론력을 측정하는 데 사용됩니다. 초기 벤치마크에는 간단한 산술 연산이 포함되어 있습니다(Hosseini et al., 2014); Koncel-Kedziorski et al. (2015); Roy and Roth (2015); Koncel-Kedziorski et al. (2016). Ling et al. (2017)은 자연어 형식으로 추론 과정에 라벨을 붙이고, Amini et al. (2019)은 프로그램 형식으로 추론 과정에 라벨을 붙여 AQUA를 기반으로 구축했습니다. 이후의 벤치마크 Miao et al. (2020); Patel et al. (2021); Cobbe et al. (2021); Gao et al. (2023)에는 보다 복잡하고 다양한 질문이 포함되어 있습니다. Zhu et al. (2021); Chen et al. (2021); Chen et al. (2022)는 표 내용을 기반으로 추론해야 합니다. 일반적인 벤치마크 Hendrycks et al. (2021); Mishra et al. (2022); Baa et al. (2022) 및 독해 형식 벤치마크 Dua et al. (2019); Chen et al. (2023)도 있습니다. 최근 Yu et al. (2021)은 계층적 추론과 지식을 사용하여 사전 학습된 모델에 수학적 추론 능력을 부여했습니다.