After SFT, to further improve the model, RL is applied to align the model to the specific goal. The model automatically samples responses, and a reward model scores these generated responses to distinguish their quality. For mathematical reasoning, it has been verified that rewards based on intermediate processes yield better results compared to rewards based solely on final results (Wang et al., 2023; Lightman et al., 2023).
SFT 후 모델을 더욱 개선하기 위해 RL이 적용되어 모델을 특정 목표에 맞춥니다. 모델은 자동으로 응답을 샘플링하고, 보상 모델이 생성된 응답의 품질을 구별하기 위해 점수를 매깁니다. 수학적 추론의 경우, 중간 과정에 기반한 보상이 최종 결과에만 기반한 보상보다 더 나은 결과를 낳는다는 것이 검증되었습니다 (Wang et al., 2023; Lightman et al., 2023).
SFT 이후 모델을 더욱 개선하기 위해 RL을 적용하여 모델을 특정 목표에 맞게 조정합니다. 모델은 자동으로 응답을 샘플링하고, 보상 모델은 생성된 응답을 평가하여 품질을 구분합니다. 수학적 추론의 경우, 중간 과정을 기반으로 한 보상이 최종 결과만을 기반으로 한 보상에 비해 더 나은 결과를 산출하는 것으로 검증되었습니다(Wang et al., 2023; Lightman et al., 2023).