The KL-constrained reward maximization objective used in typical RLHF algorithms balances exploitation of reward while restricting the policy from deviating far from the reference policy. Therefore, when comparing algorithms, we must take into account both reward achieved as well as the KL discrepancy; achieving slightly higher reward but with much higher KL is not necessarily desirable. Figure 2 shows the reward-KL frontier for various algorithms in the sentiment setting. We execute multiple training runs for each algorithm, using a different hyperparameter for policy conservativeness in each run (target \(\text{KL}\in\{3,6,9,12\}\) for PPO, \(\beta\in\{0.05,0.1,1,5\}\), \(\alpha\in\{0.05,0.1,0.5,1\}\) for unlikelihood, random seeds for preferred-FT). This sweep includes 22 runs in total. After each 100 training steps until convergence, we evaluate each policy on a set of test prompts, computing the average reward under the true reward function as well as the average sequence-level KL3 with the reference policy \(\text{KL}\left(\pi\mid\mid\pi_{\text{ref}}\right)\). We find that DPO produces by far the most efficient frontier, achieving the highest reward while still achieving low KL. This result is particularly notable for multiple reasons.
일반적인 RLHF 알고리즘에서 사용되는 KL-constrained reward maximization objective는 보상의 착취를 균형 있게 유지하면서 정책이 기준 정책에서 크게 벗어나지 않도록 제한합니다. 따라서 알고리즘을 비교할 때는 달성한 보상과 KL discrepancy를 모두 고려해야 하며, 약간 더 높은 보상을 달성하되 KL이 훨씬 더 높은 것은 반드시 바람직한 것은 아닙니다. 그림 2는 감성 설정에서 다양한 알고리즘에 대한 reward-KL frontier를 보여줍니다. 각 알고리즘에 대해 다양한 하이퍼파라미터를 사용하여 다중 훈련 실행을 수행합니다(PPO의 경우 \(\text{KL}\in\{3,6,9,12\}\), \(\beta\in\{0.05,0.1,1,5\}\), \(\alpha\in\{0.05,0.1,0.5,1\}\), 선호도-FT의 경우 랜덤 시드). 이 스윕에는 총 22개의 실행이 포함됩니다. 수렴까지 각 100개의 훈련 단계마다 각 정책을 테스트 프롬프트 세트에 대해 평가하고, 실제 보상 함수에서 평균 보상과 참조 정책 \(\text{KL}\left(\pi\mid\mid\pi_{\text{ref}}\right)\)의 평균 시퀀스 수준 KL3을 계산합니다. DPO는 낮은 KL을 달성하면서 가장 높은 보상을 달성하는 가장 효율적인 프론티어를 생성한다는 것을 발견했습니다. 이 결과는 여러 가지 이유로 특히 주목할 만합니다.
일반적인 RLHF 알고리즘에서 사용되는 KL 제한 보상 최대화 목적은 보상의 착취를 균형 있게 유지하면서 정책이 기준 정책에서 크게 벗어나지 않도록 제한합니다. 따라서 알고리즘을 비교할 때는 달성한 보상과 KL 불일치를 모두 고려해야 하며, 약간 더 높은 보상을 달성하되 KL이 훨씬 더 높은 것은 반드시 바람직한 것은 아닙니다. 그림 2는 감성 설정에서 다양한 알고리즘에 대한 보상-KL 프론티어를 보여줍니다. 각 알고리즘에 대해 다양한 하이퍼파라미터를 사용하여 다중 훈련 실행을 수행합니다(PPO의 경우 \text{KL}\in\{3,6,9,12\}, \beta\in\{0.05,0.1,1,5\}, \alpha\in\{0.05,0.1,0.5,1\}, 선호도-FT의 경우 랜덤 시드). 이 스윕에는 총 22개의 실행이 포함됩니다. 수렴까지 각 100개의 훈련 단계마다 각 정책을 테스트 프롬프트 세트에 대해 평가하고, 실제 보상 함수에서 평균 보상과 참조 정책 \text{KL}\left(\pi\mid\mid\pi_{\text{ref}}\right)\)의 평균 시퀀스 수준 KL3을 계산합니다. DPO는 낮은 KL을 달성하면서 가장 높은 보상을 달성하는 가장 효율적인 프론티어를 생성한다는 것을 발견했습니다. 이 결과는 여러 가지 이유로 특히 주목할 만합니다.