Mathematical capabilities were previously believed to emerge in common language models only at a very large scale or require extensive math-related pre-training. This paper shows that the LLaMA-2 7B model with common pre-training already exhibits strong mathematical abilities, as evidenced by its impressive accuracy of 97.7% and 72.0% on the GSM8K and MATH benchmarks, respectively, when selecting the best response from 256 random generations. The primary issue with the current base model is the difficulty in consistently eliciting its inherent mathematical capabilities. Notably, the accuracy for the first answer drops to 49.5% and 7.9% on the GSM8K and MATH benchmarks, respectively. We find that simply scaling up the SFT data can significantly enhance the reliability of generating correct answers. However, the potential for extensive scaling is constrained by the scarcity of publicly available math questions. To overcome this limitation, we employ synthetic data, which proves to be nearly as effective as real data and shows no clear saturation when scaled up to approximately one million samples. This straightforward approach achieves an accuracy of 82.6% on GSM8K and 40.6% on MATH using LLaMA-2 7B models, surpassing previous models by 14.2% and 20.8%, respectively. We also provide insights into scaling behaviors across different reasoning complexities and error types.
수학적 능력은 이전에는 매우 큰 규모에서만 일반적인 언어 모델에서 나타나거나 광범위한 수학 관련 사전 학습이 필요한 것으로 여겨졌습니다. 이 백서에서는 최고의 응답을 256개의 무작위 생성에서 선택할 때 GSM8K 및 MATH 벤치마크에서 각각 97.7%와 72.0%의 인상적인 정확도를 보여주는 바와 같이 일반적인 사전 학습을 거친 LLaMA-2 7B 모델이 이미 강력한 수학적 능력을 보유하고 있음을 보여줍니다. 현재 기본 모델의 주요 문제는 내재된 수학적 능력을 일관되게 이끌어내기 어렵다는 것입니다. 특히 첫 번째 답변의 정확도는 GSM8K 및 MATH 벤치마크에서 각각 49.5%와 7.9%로 떨어집니다. 단순히 Supervised Fine-tuning (SFT) 데이터를 확장하면 정답 생성의 신뢰성을 크게 향상시킬 수 있습니다. 그러나 공개적으로 사용 가능한 수학 문제의 부족으로 인해 광범위한 확장의 잠재력이 제한됩니다. 이러한 한계를 극복하기 위해 합성 데이터를 사용하는데, 이는 실제 데이터와 거의 동등한 효과를 발휘하며 약 100만 개의 샘플로 확장할 때 포화 상태가 나타나지 않는 것으로 나타났습니다. 이 간단한 접근 방식은 LLaMA-2 7B 모델을 사용하여 GSM8K에서 82.6%, MATH에서 40.6%의 정확도를 달성하여 이전 모델보다 각각 14.2%와 20.8% 더 높은 성능을 발휘했습니다. 또한 다양한 추론 복잡성과 오류 유형에 따른 확장 동작에 대한 인사이트도 제공합니다.
수학적 능력은 이전에는 매우 큰 규모에서만 일반적인 언어 모델에서 나타나거나 광범위한 수학 관련 사전 학습이 필요한 것으로 여겨졌습니다. 이 백서에서는 최고의 응답을 256개의 무작위 생성에서 선택할 때 GSM8K 및 MATH 벤치마크에서 각각 97.7%와 72.0%의 인상적인 정확도를 보여주는 바와 같이 일반적인 사전 학습을 거친 LLaMA-2 7B 모델이 이미 강력한 수학적 능력을 보유하고 있음을 보여줍니다. 현재 기본 모델의 주요 문제는 내재된 수학적 능력을 일관되게 이끌어내기 어렵다는 것입니다. 특히 첫 번째 답변의 정확도는 GSM8K 및 MATH 벤치마크에서 각각 49.5%와 7.9%로 떨어집니다. 단순히 SFT 데이터를 확장하면 정답 생성의 신뢰성을 크게 향상시킬 수 있습니다. 그러나 공개적으로 사용 가능한 수학 문제의 부족으로 인해 광범위한 확장의 잠재력이 제한됩니다. 이러한 한계를 극복하기 위해 합성 데이터를 사용하는데, 이는 실제 데이터와 거의 동등한 효과를 발휘하며 약 100만 개의 샘플로 확장할 때 포화 상태가 나타나지 않는 것으로 나타났습니다. 이 간단한 접근 방식은 LLaMA-2 7B 모델을 사용하여 GSM8K에서 82.6%, MATH에서 40.6%의 정확도를 달성하여 이전 모델보다 각각 14.2%와 20.8% 더 높은 성능을 발휘했습니다. 또한 다양한 추론 복잡성과 오류 유형에 따른 확장 동작에 대한 인사이트도 제공합니다.