Figure 1: A schematic of generating modified documents for each dataset. A question is posed to the LLM with and without a reference document containing information relevant to the query. This document is then perturbed to contain modified information and given as context to the LLM. We then observe whether the LLM prefers the modified information or its own prior answer.
Figure 1: 각 데이터셋에 대해 수정된 문서를 생성하는 개요도입니다. 질의와 관련된 정보를 포함하는 참조 문서가 있는 경우와 없는 경우에 대해 LLM에 질문을 제시합니다. 그런 다음 이 문서는 수정된 정보를 포함하도록 변경되어 LLM에 컨텍스트로 제공됩니다. 이후 LLM이 수정된 정보를 선호하는지 아니면 자신의 이전 답변을 선호하는지 관찰합니다.
그림 1: 각 데이터 세트에 대해 수정된 문서를 생성하는 개요. 질의와 관련된 정보를 포함하는 참조 문서가 있는 경우와 없는 경우 LLM에 질문이 제기됩니다. 그런 다음 이 문서를 수정하여 수정된 정보를 포함하도록 하고 이를 LLM에 대한 컨텍스트로 제공합니다. 그런 다음 LLM이 수정된 정보를 선호하는지 아니면 자신의 이전 답변을 선호하는지 관찰합니다.