Reliance on parametric- and non-parametric memories.We conduct analysis on how frequently model answers come from retrieved passages (non-parametric memories) or their own parametric memories. On two open-domain QA datasets, TriviaQA and PopQA, we conduct the following analysis: 1) sample query models successfully answer correctly, 2) for each query in this group, check whether the matched ground-truth answer is a sub-string of the retrieved passage or not. We evaluate Self-Rag 7B, Alpaca 7B, Alpaca 13B, and Llama2-Chat-13B. We found that Self-Rag significantly less frequently generates answers that are not included in the provided evidence; in particular, in Alpaca 30B, 20% of the correct predictions are not included in the provided passages, followed by Llama2-chat 13B (18%) and Alpaca (15%), while it is only 2% in Self-Rag. When retrieved passages are not relevant, Self-Rag generates [IsREL]=Irrelevant, indicating that the following answers may not be factually grounded, while those instruction-tuned models continue to generate plausible answers.
파라메트릭 및 비파라메트릭 메모리에 대한 의존도. 우리는 모델 답변이 검색된 구절(비파라메트릭 메모리) 또는 자체 파라메트릭 메모리에서 얼마나 자주 나오는지 분석합니다. 두 개의 공개 도메인 QA 데이터 세트인 TriviaQA와 PopQA에서 다음과 같은 분석을 수행합니다: 1) 쿼리 모델이 올바르게 답변하는 경우, 2) 이 그룹의 각 쿼리에 대해 일치하는 지상 실측 답변이 검색된 구절의 하위 문자열인지 여부를 확인합니다. Self-Rag 7B, Alpaca 7B, Alpaca 13B, Llama2-Chat-13B를 평가합니다. Self-Rag는 제공된 증거에 포함되지 않은 답변을 생성하는 빈도가 현저히 낮다는 것을 발견했으며, 특히 Alpaca 30B의 경우 정답의 20%가 제공된 구절에 포함되지 않았고, Llama2-chat 13B(18%), Alpaca(15%)가 그 뒤를 이었으며, Self-Rag의 경우 2%에 불과했습니다. 검색된 구절이 관련성이 없는 경우, Self-Rag는 [IsREL]=Irrelevant을 생성하여 다음 답변이 사실에 근거하지 않을 수 있음을 나타내는 반면, Instruction-tuned 모델은 그럴듯한 답변을 계속 생성합니다.
파라메트릭 및 비파라메트릭 메모리에 대한 의존도.우리는 모델 답변이 검색된 구절(비파라메트릭 메모리) 또는 자체 파라메트릭 메모리에서 얼마나 자주 나오는지 분석합니다. 두 개의 공개 도메인 QA 데이터 세트인 TriviaQA와 PopQA에서 다음과 같은 분석을 수행합니다: 1) 쿼리 모델이 올바르게 답변하는 경우, 2) 이 그룹의 각 쿼리에 대해 일치하는 지상 실측 답변이 검색된 구절의 하위 문자열인지 여부를 확인합니다. Self-Rag 7B, 알파카 7B, 알파카 13B, Llama2-Chat-13B를 평가합니다. Self-Rag는 제공된 증거에 포함되지 않은 답변을 생성하는 빈도가 현저히 낮다는 것을 발견했으며, 특히 Alpaca 30B의 경우 정답의 20%가 제공된 구절에 포함되지 않았고, Llama2-chat 13B(18%), Alpaca(15%)가 그 뒤를 이었으며, Self-Rag의 경우 2%에 불과했습니다. 검색된 구절이 관련성이 없는 경우, Self-Rag는 [IsREL]=관련성 없음을 생성하여 다음 답변이 사실에 근거하지 않을 수 있음을 나타내는 반면, 지시어를 조정한 모델은 그럴듯한 답변을 계속 생성합니다.