Large language models (LLMs) have a surprising failure: when trained on "A has a feature B", they do not generalize to "B is a feature of A", which is termed the Reversal Curse. Even when training with trillions of tokens this issue still appears due to Zipf's law - hence even if we train on the entire internet. This work proposes an alternative training scheme, called _reverse training_, whereby all words are used twice, doubling the amount of available tokens. The LLM is trained in both forward and reverse directions by reversing training strings while preserving (i.e., not reversing) chosen substrings, such as entities. We show that data-matched reverse-trained models provide superior performance to standard models on standard tasks, and compute-matched reverse-trained models provide far superior performance on reversal tasks, helping resolve the reversal curse issue.
대규모 언어 모델(LLMs)에는 놀라운 실패가 있습니다. "A는 B라는 특징을 가지고 있다"로 학습할 때 "B는 A의 특징이다"로 일반화하지 못하는데, 이를 Reversal Curse라고 합니다. 수조 개의 토큰으로 학습하더라도 Zipf's law로 인해 이 문제는 여전히 나타나므로 인터넷 전체를 학습하더라도 마찬가지입니다. 이 작업에서는 모든 단어가 두 번 사용되어 사용 가능한 토큰의 양이 두 배로 늘어나는 _reverse training_이라는 대체 학습 방식을 제안합니다. LLM은 학습 문자열을 뒤집으면서 엔티티와 같은 선택된 하위 문자열을 (뒤집지 않고) 유지하여 앞쪽과 뒤쪽 방향으로 모두 학습합니다. 데이터 매칭 reverse-trained 모델은 표준 작업에서 표준 모델보다 우수한 성능을 제공하며, 컴퓨팅 매칭 reverse-trained 모델은 reversal 작업에서 훨씬 우수한 성능을 제공하여 Reversal Curse 문제를 해결하는 데 도움이 된다는 것을 보여줍니다.
대규모 언어 모델(LLM)에는 놀라운 실패가 있습니다. "A는 B라는 특징을 가지고 있다"로 학습할 때 "B는 A의 특징이다"로 일반화하지 못하는데, 이를 역전의 저주라고 합니다. 수조 개의 토큰으로 학습하더라도 지프의 법칙으로 인해 이 문제는 여전히 나타나므로 인터넷 전체를 학습하더라도 마찬가지입니다. 이 작업에서는 모든 단어가 두 번 사용되어 사용 가능한 토큰의 양이 두 배로 늘어나는 _역방향 학습_이라는 대체 학습 방식을 제안합니다. LLM은 학습 문자열을 뒤집으면서 엔티티와 같은 선택된 하위 문자열을 (뒤집지 않고) 유지하여 앞쪽과 뒤쪽 방향으로 모두 학습합니다. 데이터 매칭 역방향 학습 모델은 표준 작업에서 표준 모델보다 우수한 성능을 제공하며, 컴퓨팅 매칭 역방향 학습 모델은 역방향 작업에서 훨씬 우수한 성능을 제공하여 역방향 저주 문제를 해결하는 데 도움이 된다는 것을 보여줍니다.