**Training overview.** Self-Rag enables an arbitrary LM to generate text with reflection tokens by unifying them as next token predictions from the expanded model vocabulary (i.e., the original vocabulary plus reflection tokens). Specifically, we train the generator model \(\mathcal{M}\) on a curated corpus with interleaving passages retrieved by a _retriever_\(\mathcal{R}\) and reflection tokens predicted by a _critic_ model \(\mathcal{C}\) (summarized in Appendix Algorithm 2). We train \(\mathcal{C}\) to generate reflection tokens for evaluating retrieved passages and the quality of a given task output (Section 3.2.1). Using the critic model, we update the training corpus by inserting reflection tokens into task outputs offline. Subsequently, we train the final generator model (\(\mathcal{M}\)) using the conventional LM objective (Section 3.2.2) to enable \(\mathcal{M}\) to generate reflection tokens by itself without relying on the critic at inference time.
**교육 개요.** Self-Rag는 확장된 모델 어휘(즉, 원래 어휘 + 반사 토큰)의 다음 토큰 예측으로 통합하여 임의의 LM이 반사 토큰으로 텍스트를 생성할 수 있도록 합니다. 특히, 우리는 _retriever_\mathcal{R}에 의해 검색된 구절과 _critic_ 모델 \mathcal{C}에 의해 예측된 반사 토큰이 인터리빙된 큐레이션된 코퍼스에 대해 generator 모델 \(\mathcal{M}\)을 훈련합니다(부록 알고리즘 2 요약). 검색된 구절과 주어진 작업 출력의 품질을 평가하기 위해 반사 토큰을 생성하도록 \(\mathcal{C}\)를 훈련합니다(섹션 3.2.1). critic 모델을 사용하여 오프라인에서 반사 토큰을 작업 출력에 삽입하여 훈련 코퍼스를 업데이트합니다. 그 후, 기존 LM objective를 사용하여 최종 generator 모델(\mathcal{M})을 훈련하여 추론 시간에 critic에 의존하지 않고 스스로 반사 토큰을 생성할 수 있도록 합니다(섹션 3.2.2).
**교육 개요.** Self-Rag는 확장된 모델 어휘(즉, 원래 어휘 + 반사 토큰)의 다음 토큰 예측으로 통합하여 임의의 LM이 반사 토큰으로 텍스트를 생성할 수 있도록 합니다. 특히, 우리는 _리트리버_\mathcal{R}에 의해 검색된 구절과 _비평가_ 모델 \mathcal{C}에 의해 예측된 반사 토큰이 인터리빙된 큐레이션된 코퍼스에 대해 제너레이터 모델 \mathcal{M}\)을 훈련합니다(부록 알고리즘 2 요약). 검색된 구절과 주어진 작업 출력의 품질을 평가하기 위해 반사 토큰을 생성하도록 \mathcal{C}\)를 훈련합니다(섹션 3.2.1). 비평가 모델을 사용하여 오프라인에서 반사 토큰을 작업 출력에 삽입하여 훈련 코퍼스를 업데이트합니다. 그 후, 기존 LM 목표를 사용하여 최종 생성자 모델(\mathcal{M})을 훈련하여 추론 시간에 비평가에 의존하지 않고 스스로 반사 토큰을 생성할 수 있도록 합니다(섹션 3.2.2).