\(\bullet\)_Reward model training._ The second step is to train the RM using human feedback data. Specifically, we employ the LM to generate a certain number of output texts using sampled prompts (from either the supervised dataset or the human-generated prompt) as input.
\(\bullet\)_Reward model training._ 두 번째 단계는 인간 피드백 데이터를 사용하여 RM을 훈련하는 것입니다. 구체적으로, 우리는 LM을 사용하여 샘플링된 프롬프트(지도 데이터 세트 또는 사람이 생성한 프롬프트에서)를 입력으로 사용하여 특정 수의 출력 텍스트를 생성합니다.
\(\bullet\)_리워드 모델 훈련._ 두 번째 단계는 인간 피드백 데이터를 사용하여 RM을 훈련하는 것입니다. 구체적으로, 우리는 LM을 사용하여 샘플링된 프롬프트(지도 데이터 세트 또는 사람이 생성한 프롬프트에서)를 입력으로 사용하여 특정 수의 출력 텍스트를 생성합니다.