We perform systematic perturbations on each question/answer pair (as visualized in Figure 1. In three datasets with numerical answers (Drug Dosages, Sports Records, Latest News), we produce ten modifications that act as multipliers on the original value: \(0.1,0.2,0.4,0.8,1.2,1.5,2.0,3.0,5.0,10.0\). In the Wikipedia Years dataset, we perform ten absolute modifications in increments of 20 years for a range of \([-100,100]\). For the Wikipedia Names and Locations, the discrete categories required more hand-crafted levels of variation. For each, we performed three categorical perturbations via prompting: slight, significant,and comical. We provide the full prompts used in our study in the Appendix. For example, for a name like _Bob Green_, a slight modification implies a small tweak to another real name (_Rob Greene_), whereas a significant modification produces a similar but fictitious name (_Bilgorn Grevalle_), and a comical modification is an absurd variant (_Blob Lawnface_). For a city name like _Miami_, a slight modification changes the name of the most similar city (_Fort Lauderdale_), a significant modification produces a fictitious city name (_Marisole_), and a comical modification produces an absurd variant (_Miameme_). Because of differences in how each modified fact might appear in the retrieved text, we utilize GPT-4 to generate the perturbed excerpts for drug dosages and news. Each modified fact is replaced in the original retrieved text. Then, both the question and context are posed to GPT-4, from which the answers, along with the log probabilities of the output tokens, are collected.
각 질문/답변 쌍에 대해 체계적인 perturbation을 수행합니다(그림 1에서 시각화된 것처럼). 숫자 답변이 있는 세 가지 데이터 세트(약물 복용량, 스포츠 기록, 최신 뉴스)에서 원래 값에 곱셈으로 작용하는 10가지 수정을 생성합니다: \(0.1,0.2,0.4,0.8,1.2,1.5,2.0,3.0,5.0,10.0\). Wikipedia 연도 데이터 세트에서는 \([-100,100]\) 범위에 대해 20년 단위로 10개의 절대 수정을 수행합니다. Wikipedia 이름 및 위치의 경우 이산 범주는 좀 더 수작업으로 변형 수준을 높여야 했습니다. 각각에 대해 약간, 상당, 코믹의 세 가지 범주 perturbation을 prompting을 통해 수행했습니다. 연구에 사용된 전체 prompt는 부록에 나와 있습니다. 예를 들어, _밥 그린_과 같은 이름의 경우 약간 수정하면 다른 실제 이름(_롭 그린_)을 약간 수정하는 것이고, 상당한 수정은 비슷하지만 가상의 이름(_빌곤 그레발레_)을 생성하며, 코믹한 수정은 터무니없는 변형(_블롭 잔디밭_)을 생성합니다. _마이애미_와 같은 도시 이름의 경우 약간 수정하면 가장 유사한 도시 이름(_포트 로더데일_)이 변경되고, 상당한 수정은 가상의 도시 이름(_마리솔_)을 생성하며, 코믹한 수정은 터무니없는 변형(_미아메메_)을 생성합니다. 수정된 각 사실이 검색된 텍스트에 표시되는 방식이 다르기 때문에 약물 복용량 및 뉴스에 대해 GPT-4를 사용하여 perturb된 발췌문을 생성합니다. 원래 검색된 텍스트에서 수정된 각 사실을 대체합니다. 그런 다음 질문과 문맥을 모두 GPT-4에 제시하고, 출력 토큰의 로그 확률과 함께 답변을 수집합니다.
각 질문/답변 쌍에 대해 체계적인 섭동을 수행합니다(그림 1에서 시각화된 것처럼). 숫자 답변이 있는 세 가지 데이터 세트(약물 복용량, 스포츠 기록, 최신 뉴스)에서 원래 값에 곱셈으로 작용하는 10가지 수정을 생성합니다: \(0.1,0.2,0.4,0.8,1.2,1.5,2.0,3.0,5.0,10.0\). Wikipedia 연도 데이터 세트에서는 \([-100,100]\) 범위에 대해 20년 단위로 10개의 절대 수정을 수행합니다. Wikipedia 이름 및 위치의 경우 이산 범주는 좀 더 수작업으로 변형 수준을 높여야 했습니다. 각각에 대해 약간, 상당, 코믹의 세 가지 범주 섭동을 프롬프트를 통해 수행했습니다. 연구에 사용된 전체 프롬프트는 부록에 나와 있습니다. 예를 들어, _밥 그린_과 같은 이름의 경우 약간 수정하면 다른 실제 이름(_롭 그린_)을 약간 수정하는 것이고, 상당한 수정은 비슷하지만 가상의 이름(_빌곤 그레발레_)을 생성하며, 코믹한 수정은 터무니없는 변형(_블롭 잔디밭_)을 생성합니다. 마이애미_와 같은 도시 이름의 경우 약간 수정하면 가장 유사한 도시 이름(_포트 로더데일_)이 변경되고, 상당한 수정은 가상의 도시 이름(_마리솔_)을 생성하며, 코믹한 수정은 터무니없는 변형(_미아메메_)을 생성합니다. 수정된 각 사실이 검색된 텍스트에 표시되는 방식이 다르기 때문에 약물 복용량 및 뉴스에 대해 GPT-4를 사용하여 섭동된 발췌문을 생성합니다. 원래 검색된 텍스트에서 수정된 각 사실을 대체합니다. 그런 다음 질문과 문맥을 모두 GPT-4에 제시하고, 출력 토큰의 로그 확률과 함께 답변을 수집합니다.