When the reversal curse was discovered in Allen-Zhu & Li (2023b), the authors utilized a biography dataset of 100K randomly generated individuals with unique English names. The biographies were either generated using a pool of sentence templates (the bioS dataset) or generated using the Llama model (the bioR dataset) (Touvron et al., 2023a). The biography entries always start with the person's full name.4 The reversal QA task is, therefore, very natural: given a person's partial or full biography details, ask for the person's name.
Allen-Zhu & Li(2023b)에서 reversal curse가 발견되었을 때, 저자들은 고유한 영어 이름을 가진 무작위로 생성된 10만 명의 개인에 대한 전기 데이터 세트를 활용했습니다. 전기는 문장 템플릿 풀(bioS 데이터 세트)을 사용하여 생성하거나 Llama 모델(bioR 데이터 세트)을 사용하여 생성했습니다(Touvron et al., 2023a). 전기 항목은 항상 사람의 전체 이름으로 시작합니다. 따라서 reversal QA 작업은 매우 자연스럽습니다. 사람의 부분적 또는 전체 전기 세부 정보가 주어지면 그 사람의 이름을 물어봅니다.
Allen-Zhu & Li(2023b)에서 역전술이 발견되었을 때, 저자들은 고유한 영어 이름을 가진 무작위로 생성된 10만 명의 개인에 대한 전기 데이터 세트를 활용했습니다. 전기는 문장 템플릿 풀(bioS 데이터 세트)을 사용하여 생성하거나 Llama 모델(bioR 데이터 세트)을 사용하여 생성했습니다(Touvron et al., 2023a). 전기 항목은 항상 사람의 전체 이름으로 시작합니다.4 따라서 역전 QA 작업은 매우 자연스럽습니다. 사람의 부분적 또는 전체 전기 세부 정보가 주어지면 그 사람의 이름을 물어봅니다.