Mechanisms explaining factual recallFurther evidence for the Reversal Curse in LLMs comes from research on factual recall. Meng et al. (2023) use a model editing technique to modify factual associations. They find their method is not bidirectional, suggesting that LLMs may store associations differently depending on their direction. Complementing this, Geva et al. (2021, 2022) analyze the internal mechanisms behind factual recall in Transformers. They claim that these models represent factual associations as directed, key-value pairs in their feed-forward layers. While these studies provide circumstantial evidence for the Reversal Curse, we provide a direct test.
사실 회상을 설명하는 메커니즘LLM의 Reversal Curse에 대한 추가 증거는 사실 회상에 대한 연구에서 나왔습니다. Meng et al. (2023)은 모델 편집 기법을 사용하여 사실적 연관성을 수정합니다. 그들은 이 방법이 양방향적이지 않다는 것을 발견하여 LLM이 연관성을 방향에 따라 다르게 저장할 수 있음을 시사합니다. 이를 보완하는 Geva 등(2021, 2022)은 Transformer의 사실 기억력 뒤에 숨겨진 내부 메커니즘을 분석했습니다. 이들은 이러한 모델이 사실적 연관성을 feed-forward 레이어의 방향성 key-value 쌍으로 표현한다고 주장합니다. 이러한 연구들은 Reversal Curse에 대한 정황적 증거를 제공하지만, 우리는 직접적인 테스트를 제공합니다.
사실 회상을 설명하는 메커니즘LLM의 리버설 커스에 대한 추가 증거는 사실 회상에 대한 연구에서 나왔습니다. Meng et al. (2023)은 모델 편집 기법을 사용하여 사실적 연관성을 수정합니다. 그들은 이 방법이 양방향적이지 않다는 것을 발견하여 LLM이 연관성을 방향에 따라 다르게 저장할 수 있음을 시사합니다. 이를 보완하는 Geva 등(2021, 2022)은 트랜스포머의 사실 기억력 뒤에 숨겨진 내부 메커니즘을 분석했습니다. 이들은 이러한 모델이 사실적 연관성을 피드포워드 레이어의 방향성 키-값 쌍으로 표현한다고 주장합니다. 이러한 연구들은 리버설 커스에 대한 정황적 증거를 제공하지만, 우리는 직접적인 테스트를 제공합니다.