\(\bullet\)_Effective RL training_. As the RL training process tends to be unstable and hyper-parameter sensitive, it is suggested that the language model should be well supervised fine-tuned before RL training, so as to reaching a good model capacity. A commonly-used way is to fine-tune the LLM on its best outputs of the prompts (referred to as _rejection sampling_ or _best-of-\(N\)_) from the alignment dataset until convergence before RL. Given a prompt, the LLM would first produce \(N\) outputs via the sampling algorithm, and then the best candidate from the model will be selected by the reward model for learning. After fine-tuning the LLM on the best samples until convergence, the RL process will be performed to further improve the performance. LLMaA 2 [99] has successively trained five versions of RLHF models, where the LLM has been progressively improved with the improvement of the reward models. In this way, the collected prompts and annotations of human preference data can better reflect the issues of the current model checkpoint, thus making special tuning to address these issues. In addition, LLMaA 2 also adds samples from prior iterations into the subsequent ones, to alleviate the possible capacity regression issue during iterative optimization.
\(\bullet\)_효과적인 RL 훈련_. RL 훈련 과정은 불안정하고 하이퍼파라미터에 민감한 경향이 있으므로, RL 훈련 전에 언어 모델을 잘 supervised Fine-tuning하여 좋은 모델 용량에 도달하도록 미리 훈련하는 것이 좋습니다. 일반적으로 사용되는 방법은 RL 전에 정합 데이터 세트에서 가장 좋은 프롬프트의 최적 출력(거부 샘플링 또는 _best-of-\(N\)\_이라고 함)에 대해 LLM을 Fine-tuning하여 수렴할 때까지 Fine-tuning하는 것입니다. 프롬프트가 주어지면 LLM은 먼저 샘플링 알고리즘을 통해 \(N\)개의 출력을 생성한 다음, 보상 모델에 의해 모델에서 가장 좋은 후보가 선택되어 학습에 사용됩니다. 수렴할 때까지 최적의 샘플에 대해 LLM을 Fine-tuning한 후 RL 프로세스를 수행하여 성능을 더욱 개선합니다. LLMaA 2 [99]는 5개 버전의 RLHF 모델을 연속적으로 훈련했으며, 여기서 LLM은 보상 모델의 개선에 따라 점진적으로 개선되었습니다. 이러한 방식으로 수집된 프롬프트와 인간 선호도 데이터의 주석은 현재 모델 체크포인트의 문제를 더 잘 반영할 수 있으므로 이러한 문제를 해결하기 위한 특별한 조정을 수행할 수 있습니다. 또한 LLMaA 2는 반복 훈련 중에 발생할 수 있는 용량 퇴보 문제를 완화하기 위해 이전 반복의 샘플을 후속 반복에 추가합니다.
\(\bullet\)_효과적인 RL 훈련_. RL 훈련 과정은 불안정하고 하이퍼파라미터에 민감한 경향이 있으므로, RL 훈련 전에 언어 모델을 잘 슈퍼바이징하여 좋은 모델 용량에 도달하도록 미리 훈련하는 것이 좋습니다. 일반적으로 사용되는 방법은 RL 전에 정합 데이터 세트에서 가장 좋은 프롬프트의 최적 출력(거부 샘플링 또는 _best-of-\(N\)\_이라고 함)에 대해 LLM을 미세 조정하여 수렴할 때까지 미세 조정하는 것입니다. 프롬프트가 주어지면 LLM은 먼저 샘플링 알고리즘을 통해 \(N\)개의 출력을 생성한 다음, 보상 모델에 의해 모델에서 가장 좋은 후보가 선택되어 학습에 사용됩니다. 수렴할 때까지 최적의 샘플에 대해 LLM을 미세 조정한 후 RL 프로세스를 수행하여 성능을 더욱 개선합니다. LLMaA 2 [99]는 5개 버전의 RLHF 모델을 연속적으로 훈련했으며, 여기서 LLM은 보상 모델의 개선에 따라 점진적으로 개선되었습니다. 이러한 방식으로 수집된 프롬프트와 인간 선호도 데이터의 주석은 현재 모델 체크포인트의 문제를 더 잘 반영할 수 있으므로 이러한 문제를 해결하기 위한 특별한 조정을 수행할 수 있습니다. 또한 LLMaA 2는 반복 훈련 중에 발생할 수 있는 용량 퇴보 문제를 완화하기 위해 이전 반복의 샘플을 후속 반복에 추가합니다.