In Figure 2 (left side plots), we observe a consistent negative relationship between the token probability of the model's prior answer and the associated RAG preference rate for all six QA datasets. To visualize an even distribution across probabilities, we bin the probabilities into ten equidistant bins in the range of \([0.0,1.0]\). We additionally present the slope from performing a linear regression on the binned probability values against the RAG preference rate in Table 1. The slope indicates the effect of stronger model confidence on the model's preference for the information presented in the retrieved context; we observe different slopes (ranging from -0.1 to -0.45), suggesting that the effectiveness of RAG in different QA domains can be characterized as being relatively susceptible (e.g., with Dates questions) or robust (e.g., with News questions) to the model's internal prior knowledge confidence. Specifically, a slope of -0.45, for instance, can be interpreted as expecting a 4.5% decrease in the likelihood of the LLM preferring the contextual information for every 10% increase in the probability of the model's prior response.
Figure 2 (왼쪽 그래프)에서, 우리는 모델의 이전 답변의 토큰 확률과 관련된 RAG 선호도 비율 사이에 일관된 음의 관계를 모든 여섯 개의 QA 데이터셋에서 관찰할 수 있습니다. 확률의 고른 분포를 시각화하기 위해, 우리는 확률을 \([0.0,1.0]\) 범위 내에서 10개의 동일한 간격의 구간으로 나눕니다. 추가로, Table 1에서 RAG 선호도 비율에 대한 구간화된 확률 값에 대해 선형 회귀를 수행한 기울기를 제시합니다. 이 기울기는 모델이 검색된 문맥에서 제시된 정보에 대한 선호도에 미치는 모델의 강한 신뢰도의 영향을 나타냅니다; 우리는 서로 다른 기울기(-0.1에서 -0.45 범위)를 관찰하며, 이는 다양한 QA 도메인에서 RAG의 효과가 모델의 내부 사전 지식 신뢰도에 상대적으로 민감하거나(예: 날짜 질문) 강건함(예: 뉴스 질문)으로 특징지어질 수 있음을 시사합니다. 예를 들어, -0.45의 기울기는 모델의 이전 응답 확률이 10% 증가할 때마다 LLM이 문맥 정보를 선호할 가능성이 4.5% 감소할 것으로 예상할 수 있음을 의미합니다.
그림 2(왼쪽 플롯)에서 6개의 QA 데이터 세트 모두에서 모델의 사전 답변 토큰 확률과 관련 RAG 선호도 사이에 일관된 음의 관계를 관찰할 수 있습니다. 확률에 걸쳐 균등한 분포를 시각화하기 위해 확률을 \([0.0,1.0]\ 범위에서 10개의 등거리 빈으로 분류합니다. 또한 표 1에 빈화된 확률 값과 RAG 선호도에 대해 선형 회귀를 수행한 기울기를 제시합니다. 기울기는 모델의 신뢰도가 높을수록 검색된 컨텍스트에 제시된 정보에 대한 모델의 선호도에 미치는 영향을 나타내며, 다양한 기울기(-0.1에서 -0.45 범위)를 관찰할 수 있어 서로 다른 QA 도메인에서 RAG의 효과가 모델의 내부 사전 지식 신뢰도에 상대적으로 민감하거나(예: 날짜 질문) 강력하거나(예: 뉴스 질문) 특징지을 수 있음을 알 수 있습니다. 예를 들어, 기울기가 -0.45인 경우, 모델의 사전 응답 확률이 10% 증가할 때마다 LLM이 컨텍스트 정보를 선호할 확률이 4.5% 감소할 것으로 예상할 수 있습니다.