\(\bullet\)_Reward model based approaches._ The reward model in RLHF has been trained to measure the alignment degree on the responses of LLMs. It is straightforward to leverage existing reward models to select high-quality responses as alignment data for subsequent fine-tuning. Based on this idea, RAFT [373] adopts reward models trained on human preference data to rank the responses of LLMs and collect those with higher rewards for supervised fine-tuning. In addition, the reward model can be also used to score model responses and assign them to different quality groups. Quark [384] sorts the responses of LLMs into different quantiles based on the reward scores. Each quantile is attached with a special reward token to represent the reward level of the quantile. Conditioned on the highest-reward tokens, LLMs are subsequently prompted to generate high-quality responses. Given an initial answer and the corresponding human feedback, ILF [385] first adopts LLMs to generate refined answers, then utilizes the reward model to select the answer that best matches the feedback for further training. As valuable resources for aligning LLMs, several reward models have been released, including DeBERTabase/large/xlarge from OpenAssistant27, Moss-7B from Fudan28, and Flan-T5-xl from Stanford29.
\(\bullet\)_보상 모델 기반 접근 방식._ RLHF의 보상 모델은 LLM의 응답에 대한 정렬 정도를 측정하도록 훈련되었습니다. 기존 보상 모델을 활용하여 고품질 응답을 선별하여 후속 Fine-tuning을 위한 정렬 데이터로 사용하는 것은 간단합니다. 이 아이디어를 기반으로 RAFT [373]는 사람의 선호도 데이터에 대해 학습된 보상 모델을 채택하여 LLM의 응답을 순위화하고 보상이 더 높은 응답을 수집하여 Supervised Fine-tuning에 사용합니다. 또한 보상 모델을 사용하여 모델 응답에 점수를 부여하고 여러 품질 그룹에 할당할 수도 있습니다. Quark [384]는 보상 점수를 기반으로 LLM의 응답을 여러 분위수로 분류합니다. 각 분위수에는 해당 분위수의 보상 수준을 나타내는 특수 보상 토큰이 첨부됩니다. 가장 높은 보상 토큰을 조건으로 LLM은 후속적으로 고품질 응답을 생성하도록 프롬프트됩니다. 초기 답변과 그에 해당하는 사람의 피드백이 주어지면 ILF [385]는 먼저 LLM을 채택하여 정제된 답변을 생성한 다음 보상 모델을 활용하여 피드백과 가장 잘 일치하는 답변을 선택하여 추가 훈련을 수행합니다. LLM을 정렬하기 위한 귀중한 리소스로서 OpenAssistant27의 DeBERTabase/large/xlarge, Fudan28의 Moss-7B, Stanford29의 Flan-T5-xl 등 여러 보상 모델이 공개되었습니다.
\(\bullet\)_보상 모델 기반 접근 방식._ RLHF의 보상 모델은 LLM의 응답에 대한 정렬 정도를 측정하도록 훈련되었습니다. 기존 보상 모델을 활용하여 고품질 응답을 선별하여 후속 미세 조정을 위한 정렬 데이터로 사용하는 것은 간단합니다. 이 아이디어를 기반으로 RAFT [373]는 사람의 선호도 데이터에 대해 학습된 보상 모델을 채택하여 LLM의 응답을 순위화하고 보상이 더 높은 응답을 수집하여 지도 미세 조정에 사용합니다. 또한 보상 모델을 사용하여 모델 응답에 점수를 부여하고 여러 품질 그룹에 할당할 수도 있습니다. Quark [384]는 보상 점수를 기반으로 LLM의 응답을 여러 분위수로 분류합니다. 각 분위수에는 해당 분위수의 보상 수준을 나타내는 특수 보상 토큰이 첨부됩니다. 가장 높은 보상 토큰을 조건으로 LLM은 후속적으로 고품질 응답을 생성하도록 프롬프트됩니다. 초기 답변과 그에 해당하는 사람의 피드백이 주어지면 ILF [385]는 먼저 LLM을 채택하여 정제된 답변을 생성한 다음 보상 모델을 활용하여 피드백과 가장 잘 일치하는 답변을 선택하여 추가 훈련을 수행합니다. LLM을 정렬하기 위한 귀중한 리소스로서 OpenAssistant27의 DeBERTabase/large/xlarge, Fudan28의 Moss-7B, Stanford29의 Flan-T5-xl 등 여러 보상 모델이 공개되었습니다.