Training and generating with critics.Training LLMs with reinforcement learning (e.g., Proximal Policy Optimization or PPO; Schulman et al. 2017) from human feedback (RLHF) has proven effective in aligning LLMs with human preferences (Ouyang et al., 2022). Wu et al. (2023) introduce fine-grained RLHF with multiple reward models. Though our work also studies fine-grained critique on retrieval and generation, we train our target LM on task examples augmented with reflection tokens from a critic model offline, with a far lower training cost compared to RLHF. In addition, reflection tokens in Self-Rag enable controllable generation at inference, while RLHF focuses on human preference alignment during training. Other works use general control tokens to guide LM generation (Lu et al., 2022; Korbak et al., 2023), while Self-Rag uses reflection tokens to decide the need for retrieval and to self-evaluate generation quality. Xie et al. (2023) propose a self-evaluation-guided decoding framework, but they focus only on reasoning tasks with one evaluation dimension (reasoning path consistency) and without retrieval. Recent work on LLM refinement (Dhuliawala et al., 2023; Madaan et al., 2023; Paul et al., 2023) prompts a model to generate task output, natural language feedback and refined task output iteratively, but at the cost of inference efficiency.
비평가와 함께 훈련 및 생성. 인간 피드백(RLHF)으로부터의 Reinforcement Learning(예: Proximal Policy Optimization 또는 PPO; Schulman et al. 2017)을 사용하여 LLM을 훈련하는 것은 인간의 선호도에 따라 LLM을 조정하는 데 효과적인 것으로 입증되었습니다(Ouyang et al., 2022). Wu et al. (2023)은 여러 보상 모델을 사용하여 세분화된 RLHF를 소개합니다. 우리 연구에서도 검색 및 생성에 대한 세분화된 비평을 연구하지만, RLHF에 비해 훨씬 낮은 훈련 비용으로 오프라인에서 비평 모델의 반영 토큰으로 증강된 작업 예제에 대해 대상 LM을 훈련합니다. 또한 Self-Rag의 반사 토큰은 추론 중에 제어 가능한 생성을 가능하게 하는 반면, RLHF는 훈련 중에 인간의 선호도 조정에 중점을 둡니다. 다른 작업에서는 일반적인 제어 토큰을 사용하여 LM 생성을 안내하는 반면(Lu et al., 2022; Korbak et al., 2023), Self-Rag은 반사 토큰을 사용하여 검색의 필요성을 결정하고 생성 품질을 자체 평가합니다. Xie et al. (2023)은 자체 평가 기반 디코딩 프레임워크를 제안하지만, 이는 검색 없이 하나의 평가 차원(추론 경로 일관성)만 있는 추론 작업에만 초점을 맞추고 있습니다. 최근 LLM refinement(Dhuliawala et al., 2023; Madaan et al., 2023; Paul et al., 2023) 작업에서는 모델이 작업 출력, 자연어 피드백 및 수정된 작업 출력을 반복적으로 생성하도록 프롬프트하지만 추론 효율성의 대가를 치르게 됩니다.
비평가와 함께 훈련 및 생성.인간 피드백(RLHF)으로부터의 강화 학습(예: 근접 정책 최적화 또는 PPO; Schulman et al. 2017)을 사용하여 LLM을 훈련하는 것은 인간의 선호도에 따라 LLM을 조정하는 데 효과적인 것으로 입증되었습니다(Ouyang et al., 2022). Wu et al. (2023)은 여러 보상 모델을 사용하여 세분화된 RLHF를 소개합니다. 우리 연구에서도 검색 및 생성에 대한 세분화된 비평을 연구하지만, RLHF에 비해 훨씬 낮은 훈련 비용으로 오프라인에서 비평 모델의 반영 토큰으로 증강된 작업 예제에 대해 대상 LM을 훈련합니다. 또한 Self-Rag의 반사 토큰은 추론 중에 제어 가능한 생성을 가능하게 하는 반면, RLHF는 훈련 중에 인간의 선호도 조정에 중점을 둡니다. 다른 작업에서는 일반적인 제어 토큰을 사용하여 LM 생성을 안내하는 반면(Lu et al., 2022; Korbak et al., 2023), Self-Rag은 반사 토큰을 사용하여 검색의 필요성을 결정하고 생성 품질을 자체 평가합니다. Xie et al. (2023)은 자체 평가 기반 디코딩 프레임워크를 제안하지만, 이는 검색 없이 하나의 평가 차원(추론 경로 일관성)만 있는 추론 작업에만 초점을 맞추고 있습니다. 최근 LLM 구체화(Dhuliawala et al., 2023; Madaan et al., 2023; Paul et al., 2023) 작업에서는 모델이 작업 출력, 자연어 피드백 및 수정된 작업 출력을 반복적으로 생성하도록 프롬프트하지만 추론 효율성의 대가를 치르게 됩니다.