The main analysis we perform in this study is comparing the _RAG preference_ of a model against its _internal prior_. The LLM is first queried with a question without context. This response and the average probability of the tokens (accessed via the log probs) are referred to as the model's _prior response_ and the _prior probability_, respectively. The LLM is then queried again, this time with the retrieved content present in the prompt. The resulting response (the response with RAG) is then compared with the prior response: if the response is still the same as the prior response, then the model _prefers its prior_. On the other hand, if the model response aligns with the information present in the retrieved content, then the model _prefers RAG_. For each dataset, the _RAG preference rate_ is computed as the average across all RAG queries.
이 연구에서 수행하는 주요 분석은 모델의 _RAG preference_를 _internal prior_와 비교하는 것입니다. 먼저 컨텍스트가 없는 질문으로 모델에 쿼리를 보냅니다. 이 응답과 토큰의 평균 확률(로그 확률을 통해 액세스)을 각각 모델의 _prior response_와 _prior probability_라고 합니다. 그런 다음 검색된 콘텐츠가 프롬프트에 있는 상태에서 다시 LLM에 쿼리를 보냅니다. 그러면 결과 응답(RAG가 포함된 응답)이 이전 응답과 비교됩니다. 응답이 이전 응답과 동일하면 모델은 _prior_를 선호합니다. 반면에 모델 응답이 검색된 콘텐츠에 있는 정보와 일치하면 모델은 _RAG_를 선호합니다. 각 데이터 세트에 대해 _RAG preference rate_는 모든 RAG 쿼리에 대한 평균으로 계산됩니다.
이 연구에서 수행하는 주요 분석은 모델의 _RAG 선호도_를 _내부 선호도_와 비교하는 것입니다. 먼저 컨텍스트가 없는 질문으로 모델에 쿼리를 보냅니다. 이 응답과 토큰의 평균 확률(로그 확률을 통해 액세스)을 각각 모델의 _사전 응답_과 _사전 확률_이라고 합니다. 그런 다음 검색된 콘텐츠가 프롬프트에 있는 상태에서 다시 LLM에 쿼리를 보냅니다. 그러면 결과 응답(RAG가 포함된 응답)이 이전 응답과 비교됩니다. 응답이 이전 응답과 동일하면 모델은 _이전 응답을 선호_합니다. 반면에 모델 응답이 검색된 콘텐츠에 있는 정보와 일치하면 모델은 _RAG를 선호_합니다. 각 데이터 세트에 대해 _RAG 선호도_는 모든 RAG 쿼리에 대한 평균으로 계산됩니다.