**Mathematical Reasoning.** The mathematical reasoning tasks need to comprehensively utilize mathematical knowledge, logic, and computation for solving problems or generating proof statements. Existing mathematical reasoning tasks can be mainly categorized into math problem solving and automated theorem proving. For math problem solving tasks, SVAMP [592], GSM8k [184] and MATH [364] datasets are commonly used for evaluation, where LLMs need to generate accurate concrete numbers or equations to answer the mathematical problem. As these tasks also require multi-step reasoning, the CoT prompting strategy has been widely adopted for LLMs to improve the reasoning performance [33]. As another practical strategy, continually pre-training LLMs on large-scale mathematical corpora can largely boost their performance on mathematical reasoning tasks [678, 35, 203]. Further, since math problems in different languages share the same mathematical logic, researchers also propose a multilingual math word problem benchmark [524] to evaluate the multilingual mathematical reasoning capacity of LLMs. As another challenging task, automated theorem proving (ATP) [679, 600, 598] requires the reasoning model to strictly follow the reasoning logic and mathematical skills. To evaluate the performance on this task, PISA [599] and miniF2F [600] are two typical ATP datasets with the _proof success rate_ as the evaluation metric. As a typical approach, existing work on ATP utilizes LLMs to aid the search for proofs using an interactive theorem prover (ITP), such as Lean, Metamath, and Isabelle [680, 681, 682]. A major limitation of ATP research is the lack of related corpora in formal language. To tackle it, several studies utilize LLMs to convert informal statements into formal proofs for augmenting new data [683] or generate drafts and proof sketches to reduce the search space of the proofs [684].
**수학적 추론**. 수학적 추론 과제는 문제를 해결하거나 증명 문을 생성하기 위해 수학적 지식, 논리, 계산을 종합적으로 활용해야 합니다. 기존의 수학적 추론 과제는 주로 수학 문제 해결과 자동화된 정리 증명으로 분류할 수 있습니다. 수학 문제 해결 과제의 경우, 평가를 위해 일반적으로 SVAMP [592], GSM8k [184] 및 MATH [364] 데이터 세트가 사용되며, 여기서 LLM은 수학 문제에 답하기 위해 정확한 구체적인 숫자 또는 방정식을 생성해야 합니다. 이러한 과제에는 다단계 추론이 필요하기 때문에 LLM이 추론 성능을 향상시키기 위해 CoT prompting 전략이 널리 채택되었습니다[33]. 또 다른 실용적인 전략으로, 대규모 수학 말뭉치에 대해 LLM을 지속적으로 pre-training하면 수학적 추론 과제에서 성능을 크게 향상시킬 수 있습니다[678, 35, 203]. 또한, 서로 다른 언어의 수학 문제는 동일한 수학적 논리를 공유하기 때문에 연구자들은 LLM의 다국어 수학적 추론 능력을 평가하기 위해 다국어 수학 워드 문제 벤치마크[524]를 제안하기도 했습니다. 또 다른 도전 과제인 automated theorem proving (ATP) [679, 600, 598]은 추론 모델이 추론 논리와 수학적 기술을 엄격하게 따라야 합니다. 이 작업의 성능을 평가하기 위해 PISA [599]와 miniF2F [600]는 _proof success rate_을 평가 지표로 하는 두 가지 대표적인 ATP 데이터 세트입니다. 대표적인 접근 방식으로, ATP에 대한 기존 연구에서는 Lean, Metamath, Isabelle [680, 681, 682]과 같은 interactive theorem prover (ITP)를 사용하여 증명 검색을 지원하기 위해 LLM을 활용합니다. ATP 연구의 주요 한계는 공식 언어로 된 관련 말뭉치가 부족하다는 것입니다. 이를 해결하기 위해 몇몇 연구에서는 LLM을 활용하여 비공식적인 진술을 공식적인 증명으로 변환하여 새로운 데이터를 증강하거나[683] 증명의 스케치 및 초안을 생성하여 증명의 검색 공간을 줄이는 방법을 제안합니다[684].
**수학적 추론**. 수학적 추론 과제는 문제를 해결하거나 증명 문을 생성하기 위해 수학적 지식, 논리, 계산을 종합적으로 활용해야 합니다. 기존의 수학적 추론 과제는 주로 수학 문제 해결과 자동화된 정리 증명으로 분류할 수 있습니다. 수학 문제 해결 과제의 경우, 평가를 위해 일반적으로 SVAMP [592], GSM8k [184] 및 MATH [364] 데이터 세트가 사용되며, 여기서 LLM은 수학 문제에 답하기 위해 정확한 구체적인 숫자 또는 방정식을 생성해야 합니다. 이러한 과제에는 다단계 추론이 필요하기 때문에 LLM이 추론 성능을 향상시키기 위해 CoT 프롬프트 전략이 널리 채택되었습니다[33]. 또 다른 실용적인 전략으로, 대규모 수학 말뭉치에 대해 LLM을 지속적으로 사전 학습시키면 수학적 추론 과제에서 성능을 크게 향상시킬 수 있습니다[678, 35, 203]. 또한, 서로 다른 언어의 수학 문제는 동일한 수학적 논리를 공유하기 때문에 연구자들은 LLM의 다국어 수학적 추론 능력을 평가하기 위해 다국어 수학 워드 문제 벤치마크[524]를 제안하기도 했습니다. 또 다른 도전 과제인 자동화된 정리 증명(ATP) [679, 600, 598]은 추론 모델이 추론 논리와 수학적 기술을 엄격하게 따라야 합니다. 이 작업의 성능을 평가하기 위해 PISA [599]와 miniF2F [600]는 _증명 성공률_을 평가 지표로 하는 두 가지 대표적인 ATP 데이터 세트입니다. 대표적인 접근 방식으로, ATP에 대한 기존 연구에서는 Lean, Metamath, Isabelle [680, 681, 682]과 같은 대화형 정리 증명기(ITP)를 사용하여 증명 검색을 지원하기 위해 LLM을 활용합니다. ATP 연구의 주요 한계는 공식 언어로 된 관련 말뭉치가 부족하다는 것입니다. 이를 해결하기 위해 몇몇 연구에서는 LLM을 활용하여 비공식적인 진술을 공식적인 증명으로 변환하여 새로운 데이터를 증강하거나[683] 증명의 스케치 및 초안을 생성하여 증명의 검색 공간을 줄이는 방법을 제안합니다[684].