In this paper, we introduced a simple yet effective training method to help remedy the reversal curse in LLMs. Our reverse training works by first segmenting the input sequence into chunks and then reversing the ordering of chunks, but leaves the word-ordering in each chunk intact. A chunk can be a token, a word, an entity name, or a random number of tokens. The model is then trained on both the original sequences, and this reversed data. We evaluated on a symbolic reverse task and a reversing biography task that both demonstrated the necessity of preserving word-ordering within chunks. Next, we applied our reverse training to the realistic setting of LLM pre-training, which minimized the reversal curse on real-world knowledge. Evaluations on common benchmark tasks reveal that reverse training (particularly at the word level) during pre-training does not interfere with the forward prediction ability of LLMs, and actually improves metrics in the data-bound (rather than compute-bound) setting compared to standard training. When our method is applied to finetuning on fictitious facts, prediction accuracy rose from 0% to 70-100%. The reversal curse is a serious flaw in how LLMs acquire knowledge and reverse training opens a new promising direction in resolving it.
이 백서에서는 LLM의 역전 저주를 해결하는 데 도움이 되는 간단하면서도 효과적인 훈련 방법을 소개했습니다. 역 훈련은 먼저 입력 시퀀스를 청크로 분할한 다음 청크의 순서를 반대로 하되 각 청크의 단어 순서는 그대로 유지하는 방식으로 작동합니다. 청크는 토큰, 단어, 엔티티 이름 또는 임의의 토큰 수일 수 있습니다. 그런 다음 모델은 원본 시퀀스와 이 반전된 데이터 모두에 대해 학습합니다. 이 연구에서는 단어 순서를 청크 내에서 보존해야 할 필요성을 입증한 기호적 역방향 작업과 역방향 전기 작업을 평가했습니다. 다음으로, 우리는 실제 지식에 대한 역전 저주를 최소화하는 LLM pre-training의 현실적인 설정에 역 훈련을 적용했습니다. 일반적인 벤치마크 작업에 대한 평가 결과, pre-training 중 역 훈련(특히 단어 수준에서)이 LLM의 순방향 예측 능력을 방해하지 않으며, 실제로 표준 훈련에 비해 데이터 바운드(계산 바운드가 아닌) 설정에서 메트릭을 개선하는 것으로 나타났습니다. 이 방법을 가상의 사실에 대한 Fine-tuning에 적용하면 예측 정확도가 0%에서 70~100%까지 상승했습니다. 역전 저주는 LLM이 지식을 습득하는 방식에 심각한 결함이 있으며, 역 훈련은 이를 해결하는 새로운 가능성을 열어줍니다.
이 백서에서는 LLM의 역전 저주를 해결하는 데 도움이 되는 간단하면서도 효과적인 훈련 방법을 소개했습니다. 역 훈련은 먼저 입력 시퀀스를 청크로 분할한 다음 청크의 순서를 반대로 하되 각 청크의 단어 순서는 그대로 유지하는 방식으로 작동합니다. 청크는 토큰, 단어, 엔티티 이름 또는 임의의 토큰 수일 수 있습니다. 그런 다음 모델은 원본 시퀀스와 이 반전된 데이터 모두에 대해 학습합니다. 이 연구에서는 단어 순서를 청크 내에서 보존해야 할 필요성을 입증한 기호적 역방향 작업과 역방향 전기 작업을 평가했습니다. 다음으로, 우리는 실제 지식에 대한 역전 저주를 최소화하는 LLM 사전 훈련의 현실적인 설정에 역 훈련을 적용했습니다. 일반적인 벤치마크 작업에 대한 평가 결과, 사전 훈련 중 역 훈련(특히 단어 수준에서)이 LLM의 순방향 예측 능력을 방해하지 않으며, 실제로 표준 훈련에 비해 데이터 바운드(계산 바운드가 아닌) 설정에서 메트릭을 개선하는 것으로 나타났습니다. 이 방법을 가상의 사실에 대한 미세 조정에 적용하면 예측 정확도가 0%에서 70~100%까지 상승했습니다. 역전 저주는 LLM이 지식을 습득하는 방식에 심각한 결함이 있으며, 역 훈련은 이를 해결하는 새로운 가능성을 열어줍니다.