Inspired by InstructGPT[2] and PRMs[36], we train two reward models to predict the quality of the instructions and the correctness of each step in the answer respectively:1. Instruction Reward Model (IRM): This model aims to judge the quality of the evolved instructions on three aspects: i) Definition, ii) Precision, and iii) Integrity. To produce the ranking list training data of IRM, for each instruction, we firstly use ChatGPT and Wizard-E 4 to generate 2-4 evolved instructions respectively. Then we leverage Wizard-E to rank the quality of those 4-8 instructions. Footnote 4: Wizard-E named Wizard-E-Generator, which is an Alpha version fine-tuned Llama model specifically used to execute _Evol-Instruct_ without APIs.
2. Process-supervised Reward Model (PRM): As there is no powerful open-source math reasoning LLMs before this work, there is no simple way to support highly precise process supervision without professional human-labelers and close-source ChatGPT. Therefore, we depend on ChatGPT to provide process supervision, and ask it to assess the correctness of each step in the solutions generated by our model. 3. PPO training. We evolve the original math (GSM8k + MATH) instructions by 8 turns, increasing the data size from 15k to 96k. We use IRM and PRM to generate the instruction reward (\(r^{I}\)) and the answer reward (\(r^{A}\)). Then apply a product as the final reward \(r=r^{I}\cdot r^{A}\).
인스트럭트GPT[2]와 PRM[36]에서 영감을 받아 답변의 각 단계의 지침 품질과 정확성을 각각 예측하는 두 가지 보상 모델을 훈련합니다:1. Instruction Reward Model (IRM): 이 모델은 세 가지 측면에서 진화된 instructions의 품질을 평가하는 것을 목표로 합니다: i) 정의, ii) 정밀도, iii) 무결성. IRM의 순위 목록 학습 데이터를 생성하기 위해 각 instruction에 대해 먼저 ChatGPT와 Wizard-E 4를 사용하여 각각 2-4개의 진화된 instructions를 생성합니다. 그런 다음 Wizard-E를 활용하여 이러한 4~8개의 instructions의 품질을 순위화합니다. 각주 4: Wizard-E는 Wizard-E-Generator라는 이름으로, API 없이 _Evol-Instruct_를 실행하는 데 특별히 사용되는 알파 버전의 Fine-tuned Llama 모델입니다.2. Process-supervised Reward Model (PRM): 이 작업 이전에는 강력한 오픈 소스 수학 추론 LLM이 없었기 때문에 전문 인간 라벨러와 폐쇄형 ChatGPT 없이 매우 정밀한 프로세스 감독을 지원할 수 있는 간단한 방법이 없었습니다. 따라서 우리는 ChatGPT에 의존하여 모델이 생성한 솔루션의 각 단계의 정확성을 평가하도록 요청합니다. 3. PPO training. 원래의 수학(GSM8k + MATH) instructions를 8번 진화시켜 데이터 크기를 15k에서 96k로 늘립니다. IRM과 PRM을 사용하여 instruction reward (\(r^{I}\))과 answer reward (\(r^{A}\))를 생성합니다. 그런 다음 제품을 최종 보상 \(r=r^{I}\cdot r^{A}\)로 적용합니다.
인스트럭트GPT[2]와 PRM[36]에서 영감을 받아 답변의 각 단계의 지침 품질과 정확성을 각각 예측하는 두 가지 보상 모델을 훈련합니다:1. 지침 보상 모델(IRM): 이 모델은 세 가지 측면에서 진화된 지침의 품질을 평가하는 것을 목표로 합니다: i) 정의, ii) 정밀도, iii) 무결성. IRM의 순위 목록 학습 데이터를 생성하기 위해 각 지침에 대해 먼저 ChatGPT와 Wizard-E 4를 사용하여 각각 2-4개의 진화된 지침을 생성합니다. 그런 다음 Wizard-E를 활용하여 이러한 4~8개의 지침의 품질을 순위화합니다. 각주 4: Wizard-E는 Wizard-E-Generator라는 이름으로, API 없이 _Evol-Instruct_를 실행하는 데 특별히 사용되는 알파 버전의 미세 조정된 Llama 모델입니다.2. 프로세스 감독 보상 모델(PRM): 이 작업 이전에는 강력한 오픈 소스 수학 추론 LLM이 없었기 때문에 전문 인간 라벨러와 폐쇄형 ChatGPT 없이 매우 정밀한 프로세스 감독을 지원할 수 있는 간단한 방법이 없었습니다. 따라서 우리는 ChatGPT에 의존하여 모델이 생성한 솔루션의 각 단계의 정확성을 평가하도록 요청합니다. 3. PPO 훈련. 원래의 수학(GSM8k + MATH) 지침을 8번 진화시켜 데이터 크기를 15k에서 96k로 늘립니다. IRM과 PRM을 사용하여 지침 보상(\(r^{I}\))과 답변 보상(\(r^{A}\))을 생성합니다. 그런 다음 제품을 최종 보상 \(r=r^{I}\cdot r^{A}\)로 적용합니다.