Inspired by _Evol-Instruct_ and Process-supervised Reinforcement Learning, this work aims to enhance the mathematical reasoning abilities of the SOTA open-source LLM, Llama-2 [20]. As shown in the Figure 1, we propose a new method named _Reinforcement Learning from Evol-Instruct Feedback_ (_**RLEIF**_), which could firstly generate diverse math instructions data by math-specific _Evol-Instruct_, then we train an instruction reward model (IRM) and a process-supervised reward model (PRM) [36, 37, 38, 39, 40, 41], the former indicates the quality of the evolved instruction and the later receives feedback for each step in the solution. The brand-new _Evol-Instruct_ method includes two downward evolution and upward evolution progress to produce the grade school math and challenging math respectively. Initially, we re-generate, filter and finetune the original math instruction data from GSM8k [42] and MATH [43]. Immediately, we train the Llama-2 models to obtain the reward models and our _WizardMath_.
Evol-Instruct_와 Process-supervised Reinforcement Learning에서 영감을 받아, 이 작업은 SOTA 오픈 소스 LLM인 Llama-2 [20]의 수학적 추론 능력을 향상시키는 것을 목표로 합니다. 그림 1과 같이, 먼저 수학 특화 _Evol-Instruct_를 통해 다양한 수학 instructions 데이터를 생성한 다음 instruction reward model (IRM)과 process-supervised reward model (PRM) [36, 37, 38, 39, 40, 41]을 훈련하는 _Reinforcement Learning from Evol-Instruct Feedback_(_**RLEIF**_)라는 새로운 방법을 제안합니다, 전자는 진화된 instruction의 품질을 나타내고 후자는 솔루션의 각 단계에 대한 피드백을 받습니다. 새로운 _Evol-Instruct_ 방법에는 각각 초등학교 수학과 도전 수학을 생성하기 위해 두 가지 하향 진화 및 상향 진화 진행이 포함됩니다. 처음에는 GSM8k [42] 및 MATH [43]에서 원래의 수학 instruction 데이터를 다시 생성, 필터링 및 Fine-tuning합니다. 즉시, 우리는 reward models과 우리의 _WizardMath_를 얻기 위해 Llama-2 모델을 훈련합니다.
Evol-Instruct_와 프로세스 슈퍼바이저 강화 학습에서 영감을 받아, 이 작업은 SOTA 오픈 소스 LLM인 Llama-2 [20]의 수학적 추론 능력을 향상시키는 것을 목표로 합니다. 그림 1과 같이, 먼저 수학 특화 _Evol-Instruct_를 통해 다양한 수학 지침 데이터를 생성한 다음 지침 보상 모델(IRM)과 프로세스 슈퍼바이저 보상 모델(PRM) [36, 37, 38, 39, 40, 41]을 훈련하는 _Reinforcement Learning from Evol-Instruct Feedback_(_**RLEIF**_)라는 새로운 방법을 제안합니다, 전자는 진화된 지침의 품질을 나타내고 후자는 솔루션의 각 단계에 대한 피드백을 받습니다. 새로운 _Evol-Instruct_ 방법에는 각각 초등학교 수학과 도전 수학을 생성하기 위해 두 가지 하향 진화 및 상향 진화 진행이 포함됩니다. 처음에는 GSM8k [42] 및 MATH [43]에서 원래의 수학 지침 데이터를 다시 생성, 필터링 및 미세 조정합니다. 즉시, 우리는 리워드 모델과 우리의 _WizardMath_를 얻기 위해 Llama-2 모델을 훈련합니다.