To perform the experiment illustrated in Figure 2, we sample 100 paragraphs from Wikipedia obtained via the Wikitext dataset (Merity et al., 2016). We prompt GPT-4 with the first ten words of each paragraph prepended by the text _"Please update the sentence by replacing one word sentence with a close synonym. Respond with only the word to swap in the format word1 -? word2."_. We then extract the word swap from GPT-4's response and apply it to the input to produce the transformed input \(\hat{x}\). The language model used for prompting is the 7-billion parameter version of LLAMA-2 (non-chat version).
그림 2에 예시된 실험을 수행하기 위해, 우리는 Wikitext 데이터 세트(Merity et al., 2016)를 통해 얻은 위키백과에서 100개의 단락을 샘플링합니다. 각 단락의 처음 10단어에 _"문장의 한 단어를 가까운 동의어로 바꾸어 문장을 업데이트하세요. word1 -? word2 형식으로 바꿀 단어만 응답하세요."_라는 텍스트를 앞에 붙여 GPT-4에 프롬프트합니다. 그런 다음 GPT-4의 응답에서 단어 교체를 추출하여 입력에 적용하여 변환된 입력(\(\hat{x}\))을 생성합니다. 프롬프트에 사용되는 언어 모델은 7-billion parameter 버전의 LLAMA-2(비채팅 버전)입니다.
그림 2에 예시된 실험을 수행하기 위해, 우리는 Wikitext 데이터 세트(Merity et al., 2016)를 통해 얻은 위키백과에서 100개의 단락을 샘플링합니다. 각 단락의 처음 10단어에 _"문장의 한 단어를 가까운 동의어로 바꾸어 문장을 업데이트하세요. word1 -? word2 형식으로 바꿀 단어만 응답하세요."_라는 텍스트를 앞에 붙여 GPT-4에 프롬프트합니다. 그런 다음 GPT-4의 응답에서 단어 교체를 추출하여 입력에 적용하여 변환된 입력(\(\hat{x}\))을 생성합니다. 프롬프트에 사용되는 언어 모델은 70억 파라미터 버전의 LLAMA-2(비채팅 버전)입니다.