The RAG preference rate is compared against two measurements: the prior probability and the deviation from the prior value. The former is computed by accessing the log probabilities from the OpenAI API call. As these are provided in log scale, we exponentiate them to produce linear probabilities when presenting the results. The latter is computed in several ways. For the Drug Dosages, Sports Statistics, and Latest News datasets, the absolute log fold change between the prior value and the modified value is computed; for the Wikipedia Dates dataset, the simple absolute year change is used; and for the Wikipedia Names and Locations datasets, each categorical change is presented in order of degree of modification.
RAG 선호도는 사전 확률과 사전 값에서의 편차라는 두 가지 측정값과 비교됩니다. 전자는 OpenAI API 호출의 로그 확률에 액세스하여 계산합니다. 로그 스케일로 제공되므로 결과를 제시할 때 선형 확률을 생성하기 위해 지수화합니다. 후자는 여러 가지 방법으로 계산됩니다. 약물 복용량, 스포츠 통계 및 최신 뉴스 데이터 세트의 경우 사전 값과 수정된 값 사이의 절대 로그 배율 변화가 계산되며, Wikipedia Dates 데이터 세트의 경우 단순 절대 연도 변화가 사용되며, Wikipedia Names 및 Locations 데이터 세트의 경우 각 범주별 변경 사항이 수정 정도에 따라 제시됩니다.
RAG 선호도는 사전 확률과 사전 값에서의 편차라는 두 가지 측정값과 비교됩니다. 전자는 OpenAI API 호출의 로그 확률에 액세스하여 계산합니다. 로그 스케일로 제공되므로 결과를 제시할 때 선형 확률을 생성하기 위해 지수화합니다. 후자는 여러 가지 방법으로 계산됩니다. 약물 복용량, 스포츠 통계 및 최신 뉴스 데이터 세트의 경우 사전 값과 수정된 값 사이의 절대 로그 배율 변화가 계산되며, 위키백과 날짜 데이터 세트의 경우 단순 절대 연도 변화가 사용되며, 위키백과 이름 및 위치 데이터 세트의 경우 각 범주별 변경 사항이 수정 정도에 따라 제시됩니다.