The differences between outcome-based and process-based reward modelling are further discussed by [40]. Outcome-supervised reward models (ORMs) undergo training exclusively utilizing the ultimate outcomes derived from the model's chain-of-thought process. Conversely, process-supervised reward models (PRMs) are designed to solicit feedback for each individual step within the chain-of-thought progression. In the domain of logical reasoning, ORMs frequently employ incorrect reasoning pathways yet yield the correct final answer [83, 41]. Notably, PRMs has been demonstrated to effectively alleviate this phenomenon of inconsistent behavior [40]. [36, 84, 85] amassed an expansive corpus of process-based supervised signals through meticulous manual annotation, which verified that PRMs and supervision with manual annotation yielded more pronounced advantages for LLMs as compared to ORMs.
결과 기반 보상 모델링과 프로세스 기반 보상 모델링의 차이점은 [40]에서 더 자세히 설명합니다. 결과 감독 보상 모델(Outcome-supervised Reward Models, ORMs)은 모델의 chain-of-thought 프로세스에서 도출된 최종 결과만을 활용하여 훈련을 진행합니다. 반대로 프로세스 감독 보상 모델(Process-supervised Reward Models, PRMs)은 chain-of-thought 진행 과정에서 각 개별 단계에 대한 피드백을 요청하도록 설계되었습니다. 논리적 추론 영역에서 ORMs은 종종 잘못된 추론 경로를 사용하지만 정답을 제시합니다[83, 41]. 특히 PRMs은 이러한 일관되지 않은 행동 현상을 효과적으로 완화하는 것으로 입증되었습니다[40]. [36, 84, 85]는 세심한 수작업 주석을 통해 프로세스 기반 감독 신호의 방대한 코퍼스를 축적했으며, 이를 통해 수작업 주석을 통한 PRMs과 감독이 LLMs에 대해 ORMs에 비해 더 뚜렷한 이점을 제공한다는 것을 확인했습니다.
결과 기반 보상 모델링과 프로세스 기반 보상 모델링의 차이점은 [40]에서 더 자세히 설명합니다. 결과 감독 보상 모델(ORM)은 모델의 생각의 사슬 프로세스에서 도출된 최종 결과만을 활용하여 훈련을 진행합니다. 반대로 프로세스 감독 보상 모델(PRM)은 생각의 사슬 진행 과정에서 각 개별 단계에 대한 피드백을 요청하도록 설계되었습니다. 논리적 추론 영역에서 ORM은 종종 잘못된 추론 경로를 사용하지만 정답을 제시합니다[83, 41]. 특히 PRM은 이러한 일관되지 않은 행동 현상을 효과적으로 완화하는 것으로 입증되었습니다[40]. [36, 84, 85]는 세심한 수작업 주석을 통해 프로세스 기반 감독 신호의 방대한 코퍼스를 축적했으며, 이를 통해 수작업 주석을 통한 PRM과 감독이 LLM에 대해 ORM에 비해 더 뚜렷한 이점을 제공한다는 것을 확인했습니다.