We show in Table 2(a) the ablation results. The top part of the table shows results for training ablations, and the bottom part is for inference ablations. We see that all components play important roles. We also observe a large performance gap between Self-Rag and No Retriever or Critic baselines across tasks, indicating that training an LM with those models largely contributes to the performance gain of Self-Rag. Using the top passages regardless of their relevance (Retrieve top 1) as in conventional RAG approaches causes a large drop in PopQA and ASQA, and removing \(\boxed{Isstr}\) during the beam search results hurts performance on ASQA. This demonstrates the effectiveness of Self-Rag's capabilities of carefully selecting generations based fine-grained multiple criterion, instead of naively using all of the top passages from the retrieval model or solely depending on relevance scores.
우리는 표 2(a)에 절제 결과를 보여준다. 표의 위쪽은 훈련 절제 결과를 보여주고, 아래쪽은 추론 절제 결과를 보여준다. 모든 구성 요소가 중요한 역할을 하는 것을 알 수 있습니다. 또한 작업 전반에서 Self-Rag과 No Retriever 또는 Critic 베이스라인 간에 큰 성능 격차를 관찰할 수 있는데, 이는 해당 모델로 LM을 훈련하는 것이 Self-Rag의 성능 향상에 크게 기여한다는 것을 나타냅니다. 기존 RAG 접근 방식에서와 같이 관련성에 관계없이 상위 구절을 사용하면(Retrieve top 1) PopQA와 ASQA에서 큰 폭으로 성능이 저하되며, 빔 검색 중에 \(\boxed{Isstr}\)을 제거하면 ASQA의 성능이 저하됩니다. 이는 검색 모델에서 상위 구절을 모두 사용하거나 관련성 점수에만 의존하는 대신 세분화된 다중 기준을 기반으로 세심하게 생성을 선택하는 Self-Rag의 기능이 얼마나 효과적인지 보여줍니다.
우리는 표 2(a)에 절제 결과를 보여준다. 표의 위쪽은 훈련 절제 결과를 보여주고, 아래쪽은 추론 절제 결과를 보여준다. 모든 구성 요소가 중요한 역할을 하는 것을 알 수 있습니다. 또한 작업 전반에서 Self-Rag과 No Retriever 또는 Critic 베이스라인 간에 큰 성능 격차를 관찰할 수 있는데, 이는 해당 모델로 LM을 훈련하는 것이 Self-Rag의 성능 향상에 크게 기여한다는 것을 나타냅니다. 기존 RAG 접근 방식에서와 같이 관련성에 관계없이 상위 구절을 사용하면(상위 1개 검색) PopQA와 ASQA에서 큰 폭으로 성능이 저하되며, 빔 검색 중에 \(\boxed{Isstr}\)을 제거하면 ASQA의 성능이 저하됩니다. 이는 검색 모델에서 상위 구절을 모두 사용하거나 관련성 점수에만 의존하는 대신 세분화된 다중 기준을 기반으로 세심하게 생성을 선택하는 Self-Rag의 기능이 얼마나 효과적인지 보여줍니다.