\(\bullet\)_RL fine-tuning_. At this step, aligning (_i.e._, fine-tuning) the LM is formalized as an RL problem. In this setting, the pre-trained LM acts as the policy that takes as input a prompt and returns an output text, the action space of it is the vocabulary, the state is the currently generated token sequence, and the reward is provided by the RM. To avoid eviating significantly from the initial (before tuning) LM, a penalty term is commonly incorporated into the reward function. For example, InstructGPT optimizes the LM against the RM using the PPO algorithm. For each input prompt, InstructGPT calculates the KL divergence between the generated results from the current LM and the initial LM as the penalty. It is noted that the second and final steps can be iterated in multiple turns for better aligning LLMs. Due to the instability of the RL algorithm, recent work [373] replaces the RL tuning with another supervised fine-tuning by reusing the best ranked samples with higher rewards.
\(\bullet\)_RL Fine-tuning_. 이 단계에서 LM을 정렬하는 (_즉, Fine-tuning)은 RL 문제로 공식화됩니다. 이 설정에서 사전 학습된 LM은 프롬프트를 입력으로 받아 출력 텍스트를 반환하는 정책 역할을 하며, 그 action 공간은 어휘, 상태는 현재 생성된 토큰 시퀀스, 보상은 RM에 의해 제공됩니다. 튜닝 전의 초기 LM에서 크게 벗어나지 않도록 보상 함수에 페널티 항을 통상적으로 통합합니다. 예를 들어, InstructGPT는 PPO 알고리즘을 사용하여 RM에 대해 LM을 최적화합니다. 각 입력 프롬프트에 대해 InstructGPT는 현재 LM에서 생성된 결과와 초기 LM 사이의 KL 발산을 페널티로 계산합니다. 두 번째 단계와 마지막 단계는 더 나은 정렬을 위해 여러 턴으로 반복할 수 있다는 점에 유의합니다. RL 알고리즘의 불안정성으로 인해 최근 연구 [373]에서는 보상이 더 높은 최고 순위 샘플을 재사용하여 RL 튜닝을 다른 Supervised Fine-tuning으로 대체했습니다.
\(\bullet\)_RL 미세 조정_. 이 단계에서 LM을 정렬하는 (_즉, 미세 조정)은 RL 문제로 공식화됩니다. 이 설정에서 사전 학습된 LM은 프롬프트를 입력으로 받아 출력 텍스트를 반환하는 정책 역할을 하며, 그 액션 공간은 어휘, 상태는 현재 생성된 토큰 시퀀스, 보상은 RM에 의해 제공됩니다. 튜닝 전의 초기 LM에서 크게 벗어나지 않도록 보상 함수에 페널티 항을 통상적으로 통합합니다. 예를 들어, InstructGPT는 PPO 알고리즘을 사용하여 RM에 대해 LM을 최적화합니다. 각 입력 프롬프트에 대해 InstructGPT는 현재 LM에서 생성된 결과와 초기 LM 사이의 KL 발산을 페널티로 계산합니다. 두 번째 단계와 마지막 단계는 더 나은 정렬을 위해 여러 턴으로 반복할 수 있다는 점에 유의합니다. RL 알고리즘의 불안정성으로 인해 최근 연구 [373]에서는 보상이 더 높은 최고 순위 샘플을 재사용하여 RL 튜닝을 다른 지도 미세 조정으로 대체했습니다.