Comparison against baselines without retrieval.Table 2 (top) presents the baselines without retrieval. Our Self-Rag (bottom two rows) demonstrates a substantial performance advantage over supervised fine-tuned LLMs in all tasks and even outperforms ChatGPT in PubHealth, PopQA, biography generations, and ASQA (Rouge and MAUVE). Our approach also significantly outperforms a concurrent method that employs sophisticated prompt engineering; specifically, on the bio generation task, our 7B and 13B models outperform the concurrent CoVE (Dhuliawala et al., 2023), which iteratively prompts Llama2658 to refine output.
검색이 없는 baseline과의 비교. 표 2(상단)는 검색이 없는 baseline을 제시합니다. 우리의 Self-Rag(하단 두 행)은 모든 작업에서 supervised Fine-tuned LLM보다 상당한 성능 우위를 보여주며, PubHealth, PopQA, 전기 생성 및 ASQA(Rouge 및 MAUVE)에서 ChatGPT보다 뛰어난 성능을 보여줍니다. 또한, 정교한 prompt engineering을 사용하는 동시 방법보다 훨씬 뛰어난 성능을 보여주며, 특히 바이오 생성 작업에서 7B와 13B 모델은 Llama2658이 출력을 개선하도록 반복적으로 프롬프트하는 동시 CoVE(Dhuliawala et al., 2023)보다 뛰어난 성능을 보여줍니다.
검색이 없는 베이스라인과의 비교.표 2(상단)는 검색이 없는 베이스라인을 제시합니다. 우리의 Self-Rag(하단 두 행)은 모든 작업에서 지도 미세 조정된 LLM보다 상당한 성능 우위를 보여주며, PubHealth, PopQA, 전기 생성 및 ASQA(Rouge 및 MAUVE)에서 ChatGPT보다 뛰어난 성능을 보여줍니다. 또한, 정교한 프롬프트 엔지니어링을 사용하는 동시 방법보다 훨씬 뛰어난 성능을 보여주며, 특히 바이오 생성 작업에서 7B와 13B 모델은 Llama2658이 출력을 개선하도록 반복적으로 프롬프트하는 동시 CoVE(Dhuliawala et al., 2023)보다 뛰어난 성능을 보여줍니다.