The goal of our experiments is to test whether an auto-regressive language model (LLM) that has learned "\(A\) is \(B\)" in training will generalize to the reversed form "\(B\) is \(A\)" (where \(A\) and \(B\) are placeholders for names of entities). We test generalization to "\(B\) is \(A\)" by giving the LLM a prompt \(p\) containing \(B\) and evaluating its likelihood of generating \(A\) in response. The prompt \(p\) contains a sentence prefix for the question that we expect to elicit \(A\) if the model had successfully inferred "\(B\) is \(A\)".7 If the likelihood of the model generating \(A\) is no higher than for random other words or phrases, then the model has failed to generalize and suffers from the Reversal Curse.
우리 실험의 목표는 학습 중에 "\(A\)는 \(B\)"를 학습한 auto-regressive language model (LLM)이 반전된 형태인 "\(B\)는 \(A\)"로 일반화하는지(여기서 \(A\)와 \(B\)는 엔티티 이름의 자리 표시자) 테스트하는 것입니다. \(B\)가 \(A\)를 생성할 가능성을 평가하기 위해 LLM에 \(B\)가 포함된 프롬프트 \(p\)를 제공하여 "\(B\)가 \(A\)인지"로 일반화하는지 테스트합니다. 프롬프트 \(p\)에는 모델이 "\(B\)가 \(A\)"를 성공적으로 추론했다면 \(A\)를 이끌어낼 것으로 예상되는 질문의 문장 접두사가 포함되어 있습니다. 모델이 \(A\)를 생성할 가능성이 무작위적인 다른 단어나 구보다 높지 않다면, 모델은 일반화에 실패한 것으로 간주되며 Reversal Curse를 겪게 됩니다.
우리 실험의 목표는 학습 중에 "\(A\)는 \(B\)"를 학습한 자동 회귀 언어 모델(LLM)이 반전된 형태인 "\(B\)는 \(A\)"로 일반화하는지(여기서 \(A\)와 \(B\)는 엔티티 이름의 자리 표시자) 테스트하는 것입니다. B\)가 \(A\)를 생성할 가능성을 평가하기 위해 LLM에 \(B\)가 포함된 프롬프트 \(p\)를 제공하여 "\(B\)가 \(A\)인지"로 일반화하는지 테스트합니다. 프롬프트 \(p\)에는 모델이 "\(B\)가 \(A\)"를 성공적으로 추론했다면 \(A\)를 이끌어낼 것으로 예상되는 질문의 문장 접두사가 포함되어 있습니다.7 모델이 \(A\)를 생성할 가능성이 무작위적인 다른 단어나 구보다 높지 않다면, 모델은 일반화에 실패한 것으로 간주되며 반전 저주를 겪게 됩니다.