**Process-Supervised RLHF.** In existing literature of RLHF [376], the supervision signals for RL training can be generally classified into two distinct categories: outcome-supervision signals and process-supervision signals. The outcome-supervised RLHF employs a quantitative score to assess the quality of the whole text generated by LLMs. In contrast, process-supervised RLHF offers an evaluation of each individual component (_e.g._, sentence, word, or reasoning step) within the generated content, which can provide fine-grained supervision signals to guide the training, helping LLMs refine the undesired generation contents [376, 377]. OpenAI has proposed a fine-grained annotation dataset named PRM800k [377] consisting of 12K process-annotated mathematical problems (_i.e._, MATH dataset [378]) and 75K solutions generated by LLMs of these problems, where each reasoning step of mathematical problems is labeled as _positive_, _negative_ or _neutral_ in PRM800k. This fine-grained dataset has been utilized in existing work [377, 379] to train the process-supervised reward models (PRM), and the probability from the prediction of each label can be considered as the supervision signals during RLHF procedure. To effectively leverage process-supervision signals from PRMs, existing work [376] has utilized expert iteration [380, 381], an effective RL algorithm to improve the base policy via learning from expert policy. Typically, expert iteration contains two main stages: policy improvement and distillation [376]. In the policy improvement stage, expert policy processes the systematic search procedure to produce the samples. PRMs provide process-supervision signals to guide expert policy in the search procedure and enhance the quality of samples. Subsequently, during the distillation stage, the samples generated by expert policy in the first stage are utilized to improve the base policy through supervised fine-tuning. In addition to expert iteration, PRMs can also be utilized to re-rank the candidates of the final answers generated by LLMs [377] or to select better intermediate reasoning steps during step by step reasoning [382, 379].
**Process-Supervised RLHF**. RLHF의 기존 문헌[376]에서 RL 학습을 위한 감독 신호는 일반적으로 결과 감독 신호와 프로세스 감독 신호의 두 가지 뚜렷한 범주로 분류할 수 있습니다. 결과 감독 RLHF는 정량적 점수를 사용하여 LLM이 생성한 전체 텍스트의 품질을 평가합니다. 반면, 프로세스 감독 RLHF는 생성된 콘텐츠 내의 각 개별 구성 요소(예: 문장, 단어 또는 추론 단계)를 평가하여 훈련을 안내하는 세분화된 감독 신호를 제공하여 LLM이 원하지 않는 생성 콘텐츠를 개선하는 데 도움을 줄 수 있습니다[376, 377]. OpenAI는 12,000개의 프로세스 주석 처리된 수학 문제(즉, MATH 데이터 세트[378])와 이러한 문제에 대해 LLM이 생성한 75,000개의 해를 구성하는 미세한 주석 데이터 세트인 PRM800k[377]를 제안했으며, 수학 문제의 각 추론 단계는 PRM800k에서 _긍정_, _부정_ 또는 _중립_으로 레이블이 지정됩니다. 이 세분화된 데이터 세트는 기존 작업[377, 379]에서 프로세스 감독 보상 모델(PRM)을 훈련하는 데 활용되었으며, 각 레이블의 예측에서 나온 확률을 RLHF 절차 중에 감독 신호로 간주할 수 있습니다. 기존 작업[376]에서는 전문가 반복[380, 381]을 활용하여 프로세스 감독 신호를 효과적으로 활용했으며, 이는 전문가 정책을 학습하여 기본 정책을 개선하는 효과적인 RL 알고리즘입니다. 일반적으로 전문가 반복에는 정책 개선 및 증류[376]의 두 가지 주요 단계가 포함됩니다. 정책 개선 단계에서는 전문가 정책이 체계적인 검색 절차를 처리하여 샘플을 생성합니다. PRM은 검색 절차에서 전문가 정책을 안내하고 샘플의 품질을 향상시키는 프로세스 감독 신호를 제공합니다. 그 후 증류 단계에서는 1단계에서 전문가 정책에 의해 생성된 샘플을 활용하여 Supervised Fine-tuning을 통해 기본 정책을 개선합니다. 전문가 반복 외에도 PRM은 LLM이 생성한 최종 답안의 후보를 재순위화하거나 단계별 추론 중에 더 나은 중간 추론 단계를 선택하는 데 활용할 수 있습니다[377, 382, 379].
**프로세스 감독 RLHF**. RLHF의 기존 문헌[376]에서 RL 학습을 위한 감독 신호는 일반적으로 결과 감독 신호와 프로세스 감독 신호의 두 가지 뚜렷한 범주로 분류할 수 있습니다. 결과 감독 RLHF는 정량적 점수를 사용하여 LLM이 생성한 전체 텍스트의 품질을 평가합니다. 반면, 프로세스 감독 RLHF는 생성된 콘텐츠 내의 각 개별 구성 요소(예: 문장, 단어 또는 추론 단계)를 평가하여 훈련을 안내하는 세분화된 감독 신호를 제공하여 LLM이 원하지 않는 생성 콘텐츠를 개선하는 데 도움을 줄 수 있습니다[376, 377]. OpenAI는 12,000개의 프로세스 주석 처리된 수학 문제(즉, MATH 데이터 세트[378])와 이러한 문제에 대해 LLM이 생성한 75,000개의 해를 구성하는 미세한 주석 데이터 세트인 PRM800k[377]를 제안했으며, 수학 문제의 각 추론 단계는 PRM800k에서 _긍정_, _부정_ 또는 _중립_으로 레이블이 지정됩니다. 이 세분화된 데이터 세트는 기존 작업[377, 379]에서 프로세스 감독 보상 모델(PRM)을 훈련하는 데 활용되었으며, 각 레이블의 예측에서 나온 확률을 RLHF 절차 중에 감독 신호로 간주할 수 있습니다. 기존 작업[376]에서는 전문가 반복[380, 381]을 활용하여 프로세스 감독 신호를 효과적으로 활용했으며, 이는 전문가 정책을 학습하여 기본 정책을 개선하는 효과적인 RL 알고리즘입니다. 일반적으로 전문가 반복에는 정책 개선 및 증류[376]의 두 가지 주요 단계가 포함됩니다. 정책 개선 단계에서는 전문가 정책이 체계적인 검색 절차를 처리하여 샘플을 생성합니다. PRM은 검색 절차에서 전문가 정책을 안내하고 샘플의 품질을 향상시키는 프로세스 감독 신호를 제공합니다. 그 후 증류 단계에서는 1단계에서 전문가 정책에 의해 생성된 샘플을 활용하여 지도 미세 조정을 통해 기본 정책을 개선합니다. 전문가 반복 외에도 PRM은 LLM이 생성한 최종 답안의 후보를 재순위화하거나 단계별 추론 중에 더 나은 중간 추론 단계를 선택하는 데 활용할 수 있습니다[377, 382, 379].