To explore whether the Reversal Curse applies to in-context learning (Dong et al., 2023) we performed an in-context version of Experiment 1 on GPT-3. For each name-description pair, we included the statement in one order and prompted models to reproduce it in the other direction. Table 4 shows the prompt template used to perform the experiment. We test models using 3-shot prompting and temperature 0. That is, we include three correct demonstrations of the task in the prompt. Table 5 shows the results. Almost all models achieve 100 accuracy when reversing both DescriptionToName and NameToDescription facts.
반전 저주가 In-Context Learning에 적용되는지 살펴보기 위해(Dong et al., 2023) GPT-3에 대한 실험 1의 In-Context 버전을 수행했습니다. 각 이름-설명 쌍에 대해 한 순서로 문장을 포함하고 다른 방향으로 모델이 이를 재현하도록 프롬프트했습니다. 표 4는 실험을 수행하는 데 사용된 프롬프트 템플릿을 보여줍니다. 3-shot 프롬프트와 temperature 0을 사용하여 모델을 테스트합니다. 즉, 프롬프트에 작업의 올바른 데모 3개를 포함합니다. 표 5는 결과를 보여줍니다. 거의 모든 모델이 DescriptionToName 및 NameToDescription 사실을 모두 반전할 때 100%의 정확도를 달성합니다.
반전 저주가 컨텍스트 내 학습에 적용되는지 살펴보기 위해(Dong et al., 2023) GPT-3에 대한 실험 1의 인컨텍스트 버전을 수행했습니다. 각 이름-설명 쌍에 대해 한 순서로 문장을 포함하고 다른 방향으로 모델이 이를 재현하도록 프롬프트했습니다. 표 4는 실험을 수행하는 데 사용된 프롬프트 템플릿을 보여줍니다. 3샷 프롬프트와 온도 0을 사용하여 모델을 테스트합니다. 즉, 프롬프트에 작업의 올바른 데모 3개를 포함합니다. 표 5는 결과를 보여줍니다. 거의 모든 모델이 설명명-설명명 및 이름-설명명 사실을 모두 반전할 때 100%의 정확도를 달성합니다.