In this paper, we propose a simple training method to reduce the effect of the reversal curse. We first observe that LLMs are trained in an autoregressive way from left-to-right, which may contribute to the reversal curse. While predicting the next word might be more natural, it is also possible to train a LLM in the right-to-left direction, by predicting the previous word from its subsequent words. Such reverse training has the potential to solve the reversal curse because it allows the model to see a fact in its reverse direction. However, this knowledge has to be transferred to test time left-to-right generations. Viewing the reversed text as a second language, it is known that training on multiple varying sources can be leveraged to help each other via multitasking (e.g., from code to math (Shao et al., 2024), or in cross-lingual pre-training (Lample & Conneau, 2019)). We investigate four reversaltypes that require minimal processing and can be seen as this additional "language": token reversal, word reversal, entity-preserving reversal and random segment reversal. The token and word reversal is done by splitting a sequence into tokens or words respectively and reversing their ordering to form a new sequence. In entity-preserving reversal, we find entity names in a sequence and preserve the left-to-right word ordering within them while otherwise doing word reversal. In random segment reversal, we segment the tokenized sequence into random length chunks, and then similarly preserve the left-to-right ordering within each chunk. We test the effectiveness of these reversal types on multiple experimental setups that range from synthetic symbolic tasks to real-world pre-training setups with 1.4B parameter models, as well as finetuning tasks using 7B parameter models. Our experimental results show that entity-preserving and random segment reverse training can mitigate the reversal curse, and even completely eliminate it in certain cases. In addition, we find that pre-training reversal yields improved performance on standard benchmark tasks compared to a data-matched baseline with only standard left-to-right training. Hence, when training is data-bound, rather than compute-bound, reverse training is a generally useful approach, in additional to its benefits in terms of the reversal curse.
이 백서에서는 역전 저주의 영향을 줄이기 위한 간단한 훈련 방법을 제안합니다. 먼저, LLM은 왼쪽에서 오른쪽으로 autoregressive 방식으로 훈련되며, 이것이 역전 저주에 기여할 수 있다는 것을 관찰합니다. 다음 단어를 예측하는 것이 더 자연스러울 수도 있지만, 이전 단어를 다음 단어에서 예측하여 오른쪽에서 왼쪽 방향으로 LLM을 훈련할 수도 있습니다. 이러한 reverse training은 모델이 사실을 역방향으로 볼 수 있기 때문에 역전 저주를 해결할 수 있는 잠재력을 가지고 있습니다. 그러나 이러한 지식은 테스트 시간 왼쪽에서 오른쪽으로의 생성으로 전달되어야 합니다. 반전된 텍스트를 제2언어로 간주하면, 다양한 소스에 대한 훈련을 활용하여 multitasking(예: 코드에서 수학으로(Shao et al., 2024) 또는 cross-lingual pre-training(Lample & Conneau, 2019))을 통해 서로 도움을 줄 수 있는 것으로 알려져 있습니다. 본 논문에서는 최소한의 처리가 필요하고 이러한 추가적인 "언어"로 간주할 수 있는 네 가지 역전 유형을 조사합니다: token reversal, word reversal, entity-preserving reversal, random segment reversal. token과 word reversal은 각각 시퀀스를 token 또는 word로 분할하고 순서를 반전시켜 새로운 시퀀스를 형성하는 방식으로 이루어집니다. entity-preserving reversal에서는 시퀀스에서 entity 이름을 찾아 그 안에서 왼쪽에서 오른쪽으로 word 순서를 유지하면서 word reversal을 수행합니다. random segment reversal에서는 tokenized 시퀀스를 임의 길이의 청크로 분할한 다음 각 청크 내에서 왼쪽에서 오른쪽 순서를 유사하게 유지합니다. 이러한 reversal 유형의 효과를 합성 기호 작업부터 14억 개의 파라미터 모델을 사용한 실제 pre-training 설정, 70억 개의 파라미터 모델을 사용한 Fine-tuning 작업에 이르는 여러 실험 설정에서 테스트했습니다. 실험 결과, entity-preserving 및 random segment reverse training이 역전 저주를 완화하고 특정 경우에는 완전히 제거할 수 있음을 보여주었습니다. 또한, pre-training reversal은 표준 좌우 학습만 있는 데이터 일치 기준과 비교하여 표준 벤치마크 작업에서 향상된 성능을 제공한다는 사실을 발견했습니다. 따라서 훈련이 계산이 아닌 데이터에 의해 제한되는 경우, reverse training은 역전 저주 측면에서의 이점 외에도 일반적으로 유용한 접근 방식입니다.
이 백서에서는 역전 저주의 영향을 줄이기 위한 간단한 훈련 방법을 제안합니다. 먼저, LLM은 왼쪽에서 오른쪽으로 자동 회귀 방식으로 훈련되며, 이것이 역전 저주에 기여할 수 있다는 것을 관찰합니다. 다음 단어를 예측하는 것이 더 자연스러울 수도 있지만, 이전 단어를 다음 단어에서 예측하여 오른쪽에서 왼쪽 방향으로 LLM을 훈련할 수도 있습니다. 이러한 역방향 훈련은 모델이 사실을 역방향으로 볼 수 있기 때문에 역전 저주를 해결할 수 있는 잠재력을 가지고 있습니다. 그러나 이러한 지식은 테스트 시간 왼쪽에서 오른쪽으로의 생성으로 전달되어야 합니다. 반전된 텍스트를 제2언어로 간주하면, 다양한 소스에 대한 훈련을 활용하여 멀티태스킹(예: 코드에서 수학으로(Shao et al., 2024) 또는 교차 언어 사전 훈련(Lample & Conneau, 2019))을 통해 서로 도움을 줄 수 있는 것으로 알려져 있습니다. 본 논문에서는 최소한의 처리가 필요하고 이러한 추가적인 "언어"로 간주할 수 있는 네 가지 역전 유형을 조사합니다: 토큰 역전, 단어 역전, 엔티티 보존 역전, 무작위 세그먼트 역전. 토큰과 단어 역전은 각각 시퀀스를 토큰 또는 단어로 분할하고 순서를 반전시켜 새로운 시퀀스를 형성하는 방식으로 이루어집니다. 엔티티 보존 역전에서는 시퀀스에서 엔티티 이름을 찾아 그 안에서 왼쪽에서 오른쪽으로 단어 순서를 유지하면서 단어 역전을 수행합니다. 무작위 세그먼트 역전에서는 토큰화된 시퀀스를 임의 길이의 청크로 분할한 다음 각 청크 내에서 왼쪽에서 오른쪽 순서를 유사하게 유지합니다. 이러한 역전 유형의 효과를 합성 기호 작업부터 14억 개의 파라미터 모델을 사용한 실제 사전 학습 설정, 70억 개의 파라미터 모델을 사용한 미세 조정 작업에 이르는 여러 실험 설정에서 테스트했습니다. 실험 결과, 엔티티 보존 및 무작위 세그먼트 역전 훈련이 역전 저주를 완화하고 특정 경우에는 완전히 제거할 수 있음을 보여주었습니다. 또한, 사전 학습 역전은 표준 좌우 학습만 있는 데이터 일치 기준과 비교하여 표준 벤치마크 작업에서 향상된 성능을 제공한다는 사실을 발견했습니다. 따라서 훈련이 계산이 아닌 데이터에 의해 제한되는 경우, 역방향 훈련은 역전 저주 측면에서의 이점 외에도 일반적으로 유용한 접근 방식입니다.