Figure 2: Across six QA datasets using GPT-4, we consistently observe an inverse relationship between the RAG preference rate (y-axis) and two characteristics (x-axes): 1. the model’s prior response probability (lefthand plots), and 2. the amount of deviation from the prior (righthand plots). RAG preference rate is defined as the proportion of responses that align with the information presented in the prompt as context. The model’s prior response probability is computed from the average log probability of the response tokens queried without RAG. The left plot in each pair visualizes the prior probability (grouped into 10 bins) against the RAG preference rate, along with the best-fit trend line and slope. The right plot visualizes absolute deviation from the reference information (for numerical datasets (top), up to two log-fold changes (along with the trendline); for categorical datasets (bottom), a total of four modification categories) against RAG preference rate. Additionally, the upper and lower half percentiles are shown in the right plots to illustrate that lower probability prior responses have monotonically lower RAG preference rates than higher probability prior responses.
그림 2: GPT-4를 사용한 6개의 QA 데이터 세트에서 RAG 선호도(y축)와 두 가지 특성(x축) 사이에 일관되게 반비례 관계가 관찰됩니다: 1. 모델의 prior 응답 확률(왼쪽 플롯)과 2. prior에서 벗어난 양(오른쪽 플롯). RAG 선호도는 프롬프트에 제시된 정보와 일치하는 응답의 비율로 정의됩니다. 모델의 prior 응답 확률은 RAG 없이 쿼리된 응답 토큰의 평균 로그 확률에서 계산됩니다. 각 쌍의 왼쪽 플롯은 최적의 추세선과 기울기와 함께 RAG 선호도에 대한 prior 확률(10개의 구간으로 그룹화됨)을 시각화합니다. 오른쪽 플롯은 참조 정보로부터의 절대 편차(숫자 데이터 세트의 경우(위쪽), 최대 2배의 로그 변화(추세선 포함), 범주형 데이터 세트의 경우(아래쪽), 총 4개의 수정 범주)를 RAG 선호도에 대비하여 시각화합니다. 또한 오른쪽 플롯에는 상위 및 하위 5분위수가 표시되어 낮은 확률의 prior 응답이 높은 확률의 prior 응답보다 RAG 선호도가 단조롭게 낮다는 것을 보여줍니다.
그림 2: GPT-4를 사용한 6개의 QA 데이터 세트에서 RAG 선호도(y축)와 두 가지 특성(x축) 사이에 일관되게 반비례 관계가 관찰됩니다: 1. 모델의 사전 응답 확률(왼쪽 플롯)과 2. 사전에서 벗어난 양(오른쪽 플롯). RAG 선호도는 프롬프트에 제시된 정보와 일치하는 응답의 비율로 정의됩니다. 모델의 사전 응답 확률은 RAG 없이 쿼리된 응답 토큰의 평균 로그 확률에서 계산됩니다. 각 쌍의 왼쪽 플롯은 최적의 추세선과 기울기와 함께 RAG 선호도에 대한 사전 확률(10개의 구간으로 그룹화됨)을 시각화합니다. 오른쪽 플롯은 참조 정보로부터의 절대 편차(숫자 데이터 세트의 경우(위쪽), 최대 2배의 로그 변화(추세선 포함), 범주형 데이터 세트의 경우(아래쪽), 총 4개의 수정 범주)를 RAG 선호도에 대비하여 시각화합니다. 또한 오른쪽 플롯에는 상위 및 하위 5분위수가 표시되어 낮은 확률의 사전 응답이 높은 확률의 사전 응답보다 RAG 선호도가 단조롭게 낮다는 것을 보여줍니다.