Comparison against baselines with retrieval.As shown in Tables 2 (bottom), our Self-Rag also outperforms existing RAG in many tasks, obtaining the best performance among non-proprietary LM-based models on all tasks. While our method outperforms other baselines, on PopQA or Bio, powerful instruction-tuned LMs with retrieval (e.g., LLama2-chat, Alpaca) show large gains from their non-retrieval baselines. However, we found that these baselines provide limited solutions for tasks where we cannot simply copy or extract sub-strings of retrieved passages. On PubHealth and ARC-Challenge, baselines with retrieval do not improve performance notably from their no-retrieval counterparts. We also observe that most baselines with retrieval struggle to improve citation accuracy. On ASQA, our model shows significantly higher citation precision and recall than all models except ChatGPT. Gao et al. (2023) found that ChatGPT consistently exhibits superior efficacy in this particular task, surpassing smaller LMs. Our Self-Rag bridges this performance gap, even outperforming ChatGPT in citation precision, which measures whether the model-generated claim is fully supported by cited evidence.
검색이 있는 baseline과의 비교. 표 2(하단)와 같이, 우리의 Self-Rag도 많은 작업에서 기존 RAG보다 성능이 뛰어나며, 모든 작업에서 비독점 LM 기반 모델 중 최고의 성능을 얻습니다. 우리의 방법이 다른 baseline보다 성능이 뛰어나지만, PopQA 또는 Bio에서는 검색 기능이 있는 강력한 instruction-tuned LMs(예: LLama2-chat, Alpaca)이 검색이 없는 baseline보다 큰 성능 향상을 보여줍니다. 그러나 이러한 baseline은 검색된 구절의 하위 문자열을 단순히 복사하거나 추출할 수 없는 작업에는 제한된 솔루션을 제공한다는 것을 발견했습니다. PubHealth 및 ARC-Challenge에서는 검색 기능이 있는 baseline이 검색 기능이 없는 baseline에 비해 성능이 크게 향상되지 않았습니다. 또한 검색 기능이 있는 대부분의 baseline이 인용 정확도를 개선하는 데 어려움을 겪고 있음을 관찰했습니다. ASQA에서 우리 모델은 ChatGPT를 제외한 모든 모델보다 인용 정밀도와 회수율이 훨씬 높습니다. Gao 등(2023)은 ChatGPT가 이 특정 작업에서 더 작은 LMs을 능가하는 일관된 우수한 효능을 보인다는 사실을 발견했습니다. 우리의 Self-Rag은 이러한 성능 격차를 해소하여 인용 정밀도에서 ChatGPT를 능가하는데, 이는 모델이 생성한 주장이 인용된 증거에 의해 완전히 뒷받침되는지 여부를 측정합니다.
검색이 있는 베이스라인과의 비교.표 2(하단)와 같이, 우리의 Self-Rag도 많은 작업에서 기존 RAG보다 성능이 뛰어나며, 모든 작업에서 비독점 LM 기반 모델 중 최고의 성능을 얻습니다. 우리의 방법이 다른 베이스라인보다 성능이 뛰어나지만, PopQA 또는 Bio에서는 검색 기능이 있는 강력한 지침 조정 LM(예: LLama2-chat, 알파카)이 검색이 없는 베이스라인보다 큰 성능 향상을 보여줍니다. 그러나 이러한 기본 라인은 검색된 구절의 하위 문자열을 단순히 복사하거나 추출할 수 없는 작업에는 제한된 솔루션을 제공한다는 것을 발견했습니다. PubHealth 및 ARC-Challenge에서는 검색 기능이 있는 기본 라인이 검색 기능이 없는 기본 라인에 비해 성능이 크게 향상되지 않았습니다. 또한 검색 기능이 있는 대부분의 기본 라인이 인용 정확도를 개선하는 데 어려움을 겪고 있음을 관찰했습니다. ASQA에서 우리 모델은 ChatGPT를 제외한 모든 모델보다 인용 정밀도와 회수율이 훨씬 높습니다. Gao 등(2023)은 ChatGPT가 이 특정 작업에서 더 작은 LM을 능가하는 일관된 우수한 효능을 보인다는 사실을 발견했습니다. 우리의 Self-Rag은 이러한 성능 격차를 해소하여 인용 정밀도에서 ChatGPT를 능가하는데, 이는 모델이 생성한 주장이 인용된 증거에 의해 완전히 뒷받침되는지 여부를 측정합니다.