**Overall Comparison with RL Formulation**. Following the discussion in Section 5.2.3 (the part related to RL training), the text generation problem can be formulated as a decision-making process based on RL. Taking a prompt as input, the task of a LLM is to generate a text completion that appropriately responds to the prompt. This task would be completed step by step. At each step, an agent (_i.e.,_ LLM) will perform an action (_i.e.,_ generating a token) according to the policy (_i.e.,_ the generative probability distribution of LLM) conditioned on the current state (currently generated token sequence and other available context information). It is expected that a high-quality output text would be produced by the LLM, which can earn a large reward score based on the entire response. Overall, RLHF and SFT can be considered as two different training approaches to optimizing the above decision making process for LLMs. Specially, RLHF firstly learns the reward model, and then employs it to improve the LLM with RL training (_e.g.,_ PPO). As a comparison, SFT adopts a teacher-forcing approach, which directly optimizes the likelihood of a demonstration output. Such a token-level training way essentially does _behavior cloning_ (a special algorithm of imitation learning [393]): it utilizes the expert's action (_i.e.,_ the target token at each step) as the supervision label and directly learns to imitate the demonstrations from experts without specifying a reward model as in typical RL algorithms. To learn the desired policies, SFT adopts a "local" optimization way (_i.e.,_ token-level loss) based on demonstration data, while RLHF takes a "global" optimization way (_i.e.,_ text-level loss) by involving human preference. More theoretical analysis about imitation learning and reinforcement learning can be referred to the related RL literature [393, 394].
**RL 공식과의 전반적인 비교**. 섹션 5.2.3 (RL training과 관련된 부분)의 논의에 따르면, 텍스트 생성 문제는 Reinforcement Learning에 기반한 의사 결정 프로세스로 공식화할 수 있습니다. 프롬프트를 입력으로 받아들이는 LLM의 임무는 프롬프트에 적절하게 응답하는 텍스트 완성을 생성하는 것입니다. 이 작업은 단계별로 완료됩니다. 각 단계에서 에이전트(_예:_) LLM은 현재 상태(현재 생성된 토큰 시퀀스 및 기타 사용 가능한 컨텍스트 정보)에 조건을 붙인 정책(_예:_) LLM의 생성 확률 분포)에 따라 액션(_예:_) 토큰 생성)을 수행합니다. 전체 응답에 따라 높은 보상 점수를 얻을 수 있는 고품질의 출력 텍스트가 LLM에 의해 생성될 것으로 예상됩니다. 전반적으로 RLHF와 SFT는 LLM의 위의 의사 결정 프로세스를 최적화하기 위한 두 가지 다른 훈련 접근 방식으로 간주할 수 있습니다. 특히 RLHF는 먼저 보상 모델을 학습한 다음 이를 사용하여 RL training (_예:_) PPO)을 통해 LLM을 개선합니다. 이와 비교하여 SFT는 데모 출력의 가능성을 직접 최적화하는 teacher-forcing 접근 방식을 채택합니다. 이러한 토큰 수준의 훈련 방식은 본질적으로 모방 학습의 특수 알고리즘인 _behavior cloning_을 수행합니다: 일반적인 Reinforcement Learning 알고리즘에서와 같이 보상 모델을 지정하지 않고 전문가의 행동(_즉, 각 단계의 목표 토큰)을 감독 레이블로 사용하여 전문가의 데모를 모방하는 방법을 직접 학습합니다. 원하는 정책을 학습하기 위해 SFT는 데모 데이터를 기반으로 한 '로컬' 최적화 방식(_즉, token-level loss)을 채택하는 반면, RLHF는 사람의 선호도를 반영하여 '글로벌' 최적화 방식(_즉, text-level loss)을 취합니다. 모방 학습과 강화 학습에 대한 보다 이론적인 분석은 관련 Reinforcement Learning 문헌 [393, 394]을 참조할 수 있습니다.
**RL 공식과의 전반적인 비교**. 섹션 5.2.3(RL 훈련과 관련된 부분)의 논의에 따르면, 텍스트 생성 문제는 RL에 기반한 의사 결정 프로세스로 공식화할 수 있습니다. 프롬프트를 입력으로 받아들이는 LLM의 임무는 프롬프트에 적절하게 응답하는 텍스트 완성을 생성하는 것입니다. 이 작업은 단계별로 완료됩니다. 각 단계에서 에이전트(_예:_) LLM)는 현재 상태(현재 생성된 토큰 시퀀스 및 기타 사용 가능한 컨텍스트 정보)에 조건을 붙인 정책(_예:_) LLM의 생성 확률 분포)에 따라 액션(_예:_) 토큰 생성)을 수행합니다. 전체 응답에 따라 높은 보상 점수를 얻을 수 있는 고품질의 출력 텍스트가 LLM에 의해 생성될 것으로 예상됩니다. 전반적으로 RLHF와 SFT는 LLM의 위의 의사 결정 프로세스를 최적화하기 위한 두 가지 다른 훈련 접근 방식으로 간주할 수 있습니다. 특히 RLHF는 먼저 보상 모델을 학습한 다음 이를 사용하여 RL 훈련(_예:_) PPO)을 통해 LLM을 개선합니다. 이와 비교하여 SFT는 데모 출력의 가능성을 직접 최적화하는 교사 강제 접근 방식을 채택합니다. 이러한 토큰 수준의 훈련 방식은 본질적으로 모방 학습의 특수 알고리즘인 _행동 클로닝_을 수행합니다: 일반적인 RL 알고리즘에서와 같이 보상 모델을 지정하지 않고 전문가의 행동(_즉, 각 단계의 목표 토큰)을 감독 레이블로 사용하여 전문가의 데모를 모방하는 방법을 직접 학습합니다. 원하는 정책을 학습하기 위해 SFT는 데모 데이터를 기반으로 한 '로컬' 최적화 방식(_즉, 토큰 수준 손실)을 채택하는 반면, RLHF는 사람의 선호도를 반영하여 '글로벌' 최적화 방식(_즉, 텍스트 수준 손실)을 취합니다. 모방 학습과 강화 학습에 대한 보다 이론적인 분석은 관련 RL 문헌 [393, 394]을 참조할 수 있습니다.