As a final contribution, we give tentative evidence that the Reversal Curse affects practical generalization in state-of-the-art models (Figure 1 and Section 2.2). We test GPT-4 on pairs of questions like "Who is Tom Cruise's mother?" and "Who is Mary Lee Pfeiffer's son?" for 1000 different celebrities and their actual parents. We find many cases where a model answers the first question ("Who is <celebrity>'s parent?") correctly but not the second. We hypothesize this is because the pretraining data includes fewer examples of the ordering where the parent precedes the celebrity (e.g. "Mary Lee Pfeiffer's son is Tom Cruise").
마지막으로, 우리는 Reversal Curse가 최신 모델의 실제 일반화에 영향을 미친다는 잠정적인 증거를 제시합니다(그림 1 및 섹션 2.2). 1000명의 다른 유명인과 그들의 실제 부모에 대해 "톰 크루즈의 어머니는 누구입니까?" 및 "메리 리 파이퍼의 아들은 누구입니까?"와 같은 질문 쌍에 대해 GPT-4를 테스트했습니다. 모델이 첫 번째 질문("누구 <유명인>의 부모입니까?")에 정답을 맞추지만 두 번째 질문에는 정답을 맞추지 못하는 경우가 많이 발견되었습니다. 우리는 이것이 pretraining 데이터에 부모가 유명인 앞에 오는 순서의 예가 더 적기 때문이라고 가설을 세웁니다(예: "메리 리 파이퍼의 아들은 톰 크루즈입니다").
마지막으로, 우리는 반전 저주가 최신 모델의 실제 일반화에 영향을 미친다는 잠정적인 증거를 제시합니다(그림 1 및 섹션 2.2). 1000명의 다른 유명인과 그들의 실제 부모에 대해 "톰 크루즈의 어머니는 누구입니까?" 및 "메리 리 파이퍼의 아들은 누구입니까?"와 같은 질문 쌍에 대해 GPT-4를 테스트했습니다. 모델이 첫 번째 질문("누구 <유명인>의 부모입니까?")에 정답을 맞추지만 두 번째 질문에는 정답을 맞추지 못하는 경우가 많이 발견되었습니다. 우리는 이것이 사전 학습 데이터에 부모가 유명인 앞에 오는 순서의 예가 더 적기 때문이라고 가설을 세웁니다(예: "메리 리 파이퍼의 아들은 톰 크루즈입니다").