One can view the extra data \(\{\overleftarrow{x_{i}}\}\) as another language that the language model has to learn left-to-right - in this case a reversed natural language, which has a similar difficulty in terms of perplexity. As it is easy for the language model to identify which of these languages it is trying to generate from when predicting the next token, this does not tend to interfere with its language modeling abilities in the standard forward direction. Further, as it has been shown that LLMs can leverage knowledge across different sources (e.g., code to math (Shao et al., 2024), or different natural languages (Lample & Conneau, 2019)) we hypothesize that the knowledge it learns from the reverse direction can help in the forward direction as well.
추가 데이터 \(\{\overleftarrow{x_{i}}\}\)를 언어 모델이 좌에서 우로 학습해야 하는 또 다른 언어로 볼 수 있습니다. 이 경우, 이는 유사한 난이도를 가진 역방향 자연어입니다. 언어 모델이 다음 토큰을 예측할 때 어떤 언어에서 생성하려고 하는지 쉽게 식별할 수 있기 때문에, 이는 표준 순방향에서 언어 모델링 능력을 방해하지 않는 경향이 있습니다. 또한, LLM이 다양한 소스 간의 지식을 활용할 수 있다는 것이 입증되었기 때문에 (예: 코드에서 수학으로 (Shao et al., 2024) 또는 다른 자연어 간 (Lample & Conneau, 2019)), 역방향에서 학습한 지식이 순방향에서도 도움이 될 수 있다고 가정합니다.
추가 데이터 \(\{\overleftarrow{x_{i}}\}\)를 언어 모델이 왼쪽에서 오른쪽으로 학습해야 하는 또 다른 언어(이 경우 뒤바뀐 자연어)로 볼 수 있으며, 이는 당혹감 측면에서 비슷한 난이도를 가지고 있습니다. 언어 모델이 다음 토큰을 예측할 때 이러한 언어 중 어떤 언어에서 생성하려는지 쉽게 식별할 수 있기 때문에 표준 순방향의 언어 모델링 기능을 방해하지 않습니다. 또한 LLM이 서로 다른 소스(예: 코드에서 수학(Shao et al., 2024) 또는 서로 다른 자연어(Lample & Conneau, 2019))에 걸쳐 지식을 활용할 수 있다는 것이 입증되었으므로 역방향에서 학습한 지식이 순방향에서도 도움이 될 수 있다고 가설을 세웁니다.