Large language models (LLMs), such as GPT-4, have shown remarkable performance in natural language processing (NLP) tasks, including challenging mathematical reasoning. However, most existing open-source models are only pre-trained on large-scale internet data and without math-related optimization. In this paper, we present _WizardMath_, which enhances the mathematical reasoning abilities of Llama-2, by applying our proposed _Reinforcement Learning from Evol-Instruct Feedback_ (**_RLEIF_**) method to the domain of math. Through extensive experiments on two mathematical reasoning benchmarks, namely GSM8k and MATH, we reveal the extraordinary capabilities of our model. _WizardMath_ surpasses all other open-source LLMs by a substantial margin. Furthermore, our model even outperforms ChatGPT-3.5, Claude Instant-1, PaLM-2 and Minerva on GSM8k, simultaneously surpasses Text-davinci-002, PaLM-1 and GPT-3 on MATH. More details and model weights are public at [https://github.com/nlpxucan/WizardLM](https://github.com/nlpxucan/WizardLM) 3 and [https://huggingface.co/WizardLM](https://huggingface.co/WizardLM).
GPT-4와 같은 Large Language Models (LLMs)은 도전적인 수학적 추론을 포함한 자연어 처리(NLP) 작업에서 놀라운 성능을 보여주었습니다. 그러나 대부분의 기존 오픈 소스 모델은 대규모 인터넷 데이터에 대해 사전 학습만 진행했을 뿐 수학 관련 optimization은 하지 않았습니다. 이 논문에서는 수학 영역에 제안된 _Reinforcement Learning from Evol-Instruct Feedback_ (**_RLEIF_**) 방법을 적용하여 Llama-2의 수학적 추론 능력을 향상시킨 _WizardMath_를 소개합니다. 두 가지 수학 추론 벤치마크인 GSM8k와 MATH에 대한 광범위한 실험을 통해 모델의 특별한 기능을 밝혀냈습니다. _WizardMath_는 다른 모든 오픈 소스 LLM을 상당한 격차로 능가합니다. 또한, 우리 모델은 GSM8k에서 ChatGPT-3.5, Claude Instant-1, PaLM-2, Minerva를 능가하고, MATH에서 Text-davinci-002, PaLM-1, GPT-3를 동시에 능가합니다. 자세한 내용과 모델 가중치는 [https://github.com/nlpxucan/WizardLM](https://github.com/nlpxucan/WizardLM) 및 [https://huggingface.co/WizardLM](https://huggingface.co/WizardLM)에서 확인할 수 있습니다.
GPT-4와 같은 대규모 언어 모델(LLM)은 도전적인 수학적 추론을 포함한 자연어 처리(NLP) 작업에서 놀라운 성능을 보여주었습니다. 그러나 대부분의 기존 오픈 소스 모델은 대규모 인터넷 데이터에 대해 사전 학습만 진행했을 뿐 수학 관련 최적화는 하지 않았습니다. 이 논문에서는 수학 영역에 제안된 _강화 학습에서 진화 지시 피드백_(**_RLEIF_**) 방법을 적용하여 Llama-2의 수학적 추론 능력을 향상시킨 _WizardMath_를 소개합니다. 두 가지 수학 추론 벤치마크인 GSM8k와 MATH에 대한 광범위한 실험을 통해 모델의 특별한 기능을 밝혀냈습니다. WizardMath_는 다른 모든 오픈 소스 LLM을 상당한 격차로 능가합니다. 또한, 우리 모델은 GSM8k에서 ChatGPT-3.5, Claude Instant-1, PaLM-2, Minerva를 능가하고, MATH에서 Text-davinci-002, PaLM-1, GPT-3를 동시에 능가합니다. 자세한 내용과 모델 가중치는 [https://github.com/nlpxucan/WizardLM](https://github.com/nlpxucan/WizardLM) 3 및 [https://huggingface.co/WizardLM](https://huggingface.co/WizardLM)에서 확인할 수 있습니다.