Large Language Models (LLMs) trained on internet-scale data perform extremely well on tasks relating to reasoning, common-sense, and world-knowledge. In particular, the range of knowledge captured by LLMs like GPT-4 (OpenAI, 2023) and Llama-2 (Touvron et al., 2023b) is significantly wider than that of an average person. However, recent research (Berglund et al., 2023; Allen-Zhu & Li, 2023a;b) uncovered a curious flaw in the knowledge capabilities of LLMs, coined the _reversal curse_. They experimentally showed that even the currently most powerful LLMs are incapable of "reversing" facts they had learned. For example, standard LLMs cannot correctly answer "What's the capital of France?" even if the training data contains "Paris is the capital of France", unless it also contains text where "France" is followed by "Paris", such as "As the capital of France, Paris has...".
인터넷 규모의 데이터로 학습된 Large Language Models (LLMs)은 추론, 상식, 세계 지식과 관련된 작업에서 매우 우수한 성능을 발휘합니다. 특히 GPT-4(OpenAI, 2023) 및 Llama-2(Touvron et al., 2023b)와 같은 LLM이 포착하는 지식의 범위는 일반인보다 훨씬 넓습니다. 그러나 최근 연구(Berglund et al., 2023; Allen-Zhu & Li, 2023a;b)에서 LLM의 지식 능력에 흥미로운 결함이 발견되었는데, 이를 _reversal curse_라고 합니다. 이들은 실험을 통해 현재 가장 강력한 LLM조차도 학습한 사실을 '역전'할 수 없다는 사실을 밝혀냈습니다. 예를 들어, 표준 LLM은 "파리는 프랑스의 수도입니다"가 학습 데이터에 포함되어 있더라도 "프랑스의 수도인 파리는..."과 같이 "프랑스" 뒤에 "파리"가 오는 텍스트가 포함되어 있지 않으면 "프랑스의 수도는 무엇인가요?"라는 질문에 올바르게 답할 수 없습니다.
인터넷 규모의 데이터로 학습된 대규모 언어 모델(LLM)은 추론, 상식, 세계 지식과 관련된 작업에서 매우 우수한 성능을 발휘합니다. 특히 GPT-4(OpenAI, 2023) 및 Llama-2(Touvron et al., 2023b)와 같은 LLM이 포착하는 지식의 범위는 일반인보다 훨씬 넓습니다. 그러나 최근 연구(Berglund et al., 2023; Allen-Zhu & Li, 2023a;b)에서 LLM의 지식 능력에 흥미로운 결함이 발견되었는데, 이를 _역전의 저주_라고 합니다. 이들은 실험을 통해 현재 가장 강력한 LLM조차도 학습한 사실을 '역전'할 수 없다는 사실을 밝혀냈습니다. 예를 들어, 표준 LLM은 "파리는 프랑스의 수도입니다"가 학습 데이터에 포함되어 있더라도 "프랑스의 수도인 파리는..."과 같이 "프랑스" 뒤에 "파리"가 오는 텍스트가 포함되어 있지 않으면 "프랑스의 수도는 무엇인가요?"라는 질문에 올바르게 답할 수 없습니다.