Self-Rag trains an arbitrary LM to generate text with reflection tokens by unifying them as the next token prediction from the expanded model vocabulary. We train our generator LM on a diverse collection of text interleaved with reflection tokens and retrieved passages. Reflection tokens, inspired by reward models used in reinforcement learning (Ziegler et al., 2019; Ouyang et al., 2022), are inserted offline into the original corpus by a trained _critic_ model. This eliminates the need to host a critic model during training, reducing overhead. The critic model, in part, is supervised on a dataset of input, output, and corresponding reflection tokens collected by prompting a propriety LM (i.e., GPT-4; OpenAI 2023). While we draw inspiration from studies that use control tokens to start and guide text generation (Lu et al., 2022; Keskar et al., 2019), our trained LM uses critique tokens to assess its own predictions after each generated segment as an integral part of the generation output.
Self-Rag는 확장된 모델 어휘에서 다음 토큰 예측으로 통합하여 reflection 토큰으로 텍스트를 생성하도록 임의의 LM을 훈련합니다. 우리는 reflection 토큰과 검색된 구절이 interleaved된 다양한 텍스트 컬렉션에 대해 generator LM을 훈련합니다. Reinforcement learning(Ziegler et al., 2019; Ouyang et al., 2022)에 사용되는 reward 모델에서 영감을 얻은 reflection 토큰은 훈련된 _critic_ 모델에 의해 원본 코퍼스에 오프라인으로 삽입됩니다. 따라서 훈련 중에 critic 모델을 호스팅할 필요가 없어 overhead가 줄어듭니다. critic 모델은 부분적으로 propriety LM(예: GPT-4; OpenAI 2023)을 prompt하여 수집한 입력, 출력 및 해당 reflection 토큰 데이터 세트에 대해 supervised됩니다. control 토큰을 사용하여 텍스트 생성을 시작하고 안내하는 연구(Lu et al., 2022; Keskar et al., 2019)에서 영감을 얻었지만, 우리가 훈련한 LM은 생성된 각 세그먼트 이후에 생성 결과의 필수적인 부분으로 critique 토큰을 사용하여 자체 예측을 평가합니다.
Self-Rag는 확장된 모델 어휘에서 다음 토큰 예측으로 통합하여 반사 토큰으로 텍스트를 생성하도록 임의의 LM을 훈련합니다. 우리는 반사 토큰과 검색된 구절이 인터리브된 다양한 텍스트 컬렉션에 대해 제너레이터 LM을 훈련합니다. 강화 학습(Ziegler et al., 2019; Ouyang et al., 2022)에 사용되는 보상 모델에서 영감을 얻은 반사 토큰은 훈련된 _비평가_ 모델에 의해 원본 코퍼스에 오프라인으로 삽입됩니다. 따라서 훈련 중에 비평가 모델을 호스팅할 필요가 없어 오버헤드가 줄어듭니다. 비평가 모델은 부분적으로 특허 LM(예: GPT-4; OpenAI 2023)을 프롬프트하여 수집한 입력, 출력 및 해당 반사 토큰 데이터 세트에 대해 감독됩니다. 컨트롤 토큰을 사용하여 텍스트 생성을 시작하고 안내하는 연구(Lu et al., 2022; Keskar et al., 2019)에서 영감을 얻었지만, 우리가 훈련한 LM은 생성된 각 세그먼트 이후에 생성 결과의 필수적인 부분으로 비평 토큰을 사용하여 자체 예측을 평가합니다.