\(\bullet\)_Effective reward model training_. Despite that InstructGPT used a small reward model (6B GPT model), increasing work [99] has shown it is often more effective to use a large reward model (_e.g._, equal or greater than the original model size), since large reward models generally perform better in judging the quality of the LLM generated outputs. In LLMaMa 2 [99], pretrained chat model checkpoints are used to initialize the reward model, they argue that such an approach can effectively reduce the information mismatch between the model to be aligned and the reward model by sharing the same pre-training knowledge. Whereas, it is common to encounter the overfitting problem when training large-scale reward models. As a simple yet effective solution, existing work [374, 375] has introduced the LM loss on the preferred response of the input prompt from the human-annotated alignment dataset as a regularizer, which alleviates the overfitting of the reward model on the binary classification task. In addition, as there are multiple criteria for alignment (_e.g._, helpfulness and honesty), it is often difficult to train a single reward model that can satisfy all the alignment criteria. Therefore, it is useful to train multiple reward models that focus on different alignment criteria [99], and compute the final reward based on the produced ones from them via special combination strategies (_e.g._, mean pooling and weighted sum). Such a way enables more flexible rules or standards on multiple criteria, _e.g._, relaxing the requirement on helpfulness while posing more strict limits on harmfulness.
\(\bullet\)_효과적인 reward model 훈련_. InstructGPT는 소규모 reward model(6B GPT 모델)을 사용했지만, 작업 증가[99]는 일반적으로 대규모 reward model이 LLM 생성 출력의 품질을 판단하는 데 더 나은 성능을 발휘하기 때문에 대규모 reward model을 사용하는 것이 더 효과적이라는 사실이 밝혀졌습니다. LLMaMa 2 [99]에서는 사전 학습된 채팅 모델 체크포인트를 사용하여 reward model을 초기화하는데, 이러한 접근 방식은 동일한 사전 학습 지식을 공유함으로써 정렬할 모델과 reward model 간의 정보 불일치를 효과적으로 줄일 수 있다고 주장합니다. 반면, 대규모 reward model을 훈련할 때 과적합 문제가 발생하는 경우가 많습니다. 간단하면서도 효과적인 솔루션으로, 기존 작업 [374, 375]에서는 인간이 주석을 달은 정렬 데이터 세트의 입력 프롬프트에서 선호하는 응답에 대해 LM loss를 정규화 도구로 도입하여 이진 분류 작업에서 reward model의 과적합을 완화했습니다. 또한 정렬에는 여러 가지 기준(_예: 유용성 및 정직성)이 있기 때문에 모든 정렬 기준을 만족할 수 있는 단일 reward model을 훈련하는 것이 종종 어렵습니다. 따라서 서로 다른 정렬 기준에 초점을 맞춘 여러 reward model을 훈련하고 특별한 조합 전략(_예: mean pooling 및 weighted sum)을 통해 생성된 reward model을 기반으로 최종 보상을 계산하는 것이 유용합니다. 이러한 방식을 사용하면 유용성 요구 사항을 완화하면서 유해성에 대해서는 더 엄격한 제한을 가하는 등 여러 기준에 대한 보다 유연한 규칙이나 표준을 적용할 수 있습니다.
\(\bullet\)_효과적인 보상 모델 훈련_. InstructGPT는 소규모 보상 모델(6B GPT 모델)을 사용했지만, 작업 증가[99]는 일반적으로 대규모 보상 모델이 LLM 생성 출력의 품질을 판단하는 데 더 나은 성능을 발휘하기 때문에 대규모 보상 모델을 사용하는 것이 더 효과적이라는 사실이 밝혀졌습니다. LLMaMa 2 [99]에서는 사전 학습된 채팅 모델 체크포인트를 사용하여 보상 모델을 초기화하는데, 이러한 접근 방식은 동일한 사전 학습 지식을 공유함으로써 정렬할 모델과 보상 모델 간의 정보 불일치를 효과적으로 줄일 수 있다고 주장합니다. 반면, 대규모 보상 모델을 훈련할 때 과적합 문제가 발생하는 경우가 많습니다. 간단하면서도 효과적인 솔루션으로, 기존 작업 [374, 375]에서는 인간이 주석을 달은 정렬 데이터 세트의 입력 프롬프트에서 선호하는 응답에 대해 LM 손실을 정규화 도구로 도입하여 이진 분류 작업에서 보상 모델의 과적합을 완화했습니다. 또한 정렬에는 여러 가지 기준(_예: 유용성 및 정직성)이 있기 때문에 모든 정렬 기준을 만족할 수 있는 단일 보상 모델을 훈련하는 것이 종종 어렵습니다. 따라서 서로 다른 정렬 기준에 초점을 맞춘 여러 보상 모델을 훈련하고 특별한 조합 전략(_예: 평균 풀링 및 가중 합계)을 통해 생성된 보상 모델을 기반으로 최종 보상을 계산하는 것이 유용합니다. 이러한 방식을 사용하면 유용성 요구 사항을 완화하면서 유해성에 대해서는 더 엄격한 제한을 가하는 등 여러 기준에 대한 보다 유연한 규칙이나 표준을 적용할 수 있습니다.