We report the same analyses when using GPT-3.5 and Mistral-7B in Table 2 and Figure 5. We observe significantly lower performance both in concordance of the prior and with RAG. However, as seen in Figure 5, we nonetheless observe the same inverse trends in these two models as seen in the results with GPT-4. Of note, some datasets (like Latest News) perform poorly without RAG (the model refused the vast majority of queries or provided invalid responses), and thus the prior token probabilities could not be analyzed. In the Mistral-7B results, we also observe that some of the responses using RAG could not consistently provide valid responses.
표 2와 그림 5에서 GPT-3.5와 Mistral-7B를 사용할 때 동일한 분석을 보고합니다. 이전의 일치성과 Retrieval-augmented generation (RAG)에서 훨씬 낮은 성능을 관찰할 수 있습니다. 그러나 그림 5에서 볼 수 있듯이 GPT-4의 결과에서 볼 수 있었던 것과 동일한 역의 추세를 두 모델에서 관찰할 수 있습니다. 참고로, 일부 데이터 세트(예: 최신 뉴스)는 RAG 없이는 성능이 저조하기 때문에(모델이 대다수의 쿼리를 거부하거나 잘못된 응답을 제공함) 이전 토큰 확률을 분석할 수 없었습니다. Mistral-7B 결과에서도 RAG를 사용하는 일부 응답이 일관되게 유효한 응답을 제공할 수 없는 것으로 관찰되었습니다.
표 2와 그림 5에서 GPT-3.5와 미스트랄-7B를 사용할 때 동일한 분석을 보고합니다. 이전의 일치성과 RAG에서 훨씬 낮은 성능을 관찰할 수 있습니다. 그러나 그림 5에서 볼 수 있듯이 GPT-4의 결과에서 볼 수 있었던 것과 동일한 역의 추세를 두 모델에서 관찰할 수 있습니다. 참고로, 일부 데이터 세트(예: 최신 뉴스)는 RAG 없이는 성능이 저조하기 때문에(모델이 대다수의 쿼리를 거부하거나 잘못된 응답을 제공함) 이전 토큰 확률을 분석할 수 없었습니다. Mistral-7B 결과에서도 RAG를 사용하는 일부 응답이 일관되게 유효한 응답을 제공할 수 없는 것으로 관찰되었습니다.