Right-to-left, masked & other training variantsMultiple works have proposed pre-training language models with rephrased or paraphrased text (Lewis et al., 2020; Maini et al., 2024), but were not targeting the reversal curse. Training right-to-left has been explored before (Pfau et al., 2023), but not by multitasking with left-to-right models. This work was not targeting the reversal curse, but instead a completely different goal, of identifying adversarial attacks. Rather than training left-to-right, or right-to-left, masked language models aim to learn how to "fill in the middle", going back to early language modeling work such as Collobert et al. (2011), and models such as BERT (Devlin et al., 2018). Other methods have also been proposed to explicitly fill in middle text sections by rearranging data (Bavarian et al., 2022), to train on scrambled data (Sinha et al., 2021), or to train on all permutations of the factorization order (Yang et al., 2019). Relatedly, transforming training data with repeating segments has also been shown to improve language model embeddings (Springer et al., 2024). Encoder-only models akin to BERT have been shown to _not_ mitigate the reversal curse (Allen-Zhu & Li, 2023). However, modifying the architecture and training procedure has been shown to help, e.g. by introducing Bidirectional Casual language modeling Optimization (BICO) (Lv et al., 2023). In contrast, our work seeks to rectify the issue while keeping standard language model training as similar as possible to the current regime.
오른쪽에서 왼쪽으로, masked 및 기타 훈련 변형다른 작업에서는 언어 모델을 바꾸어 쓰거나 의역된 텍스트로 pre-training하도록 제안했지만(Lewis et al., 2020; Maini et al., 2024), 반전 저주를 목표로 하지 않았습니다. 오른쪽에서 왼쪽으로 훈련하는 방식은 이전에 연구된 바 있지만(Pfau et al., 2023), 왼쪽에서 오른쪽으로 모델과 multitasking하는 방식은 아닙니다. 이 작업은 반전 저주를 목표로 한 것이 아니라 적대적 공격을 식별하는 완전히 다른 목표를 목표로 했습니다. 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로 훈련하는 대신 masked language models은 Collobert 등(2011)과 같은 초기 언어 모델링 작업과 BERT(Devlin et al., 2018)와 같은 모델로 돌아가서 '중간을 채우는 방법'을 학습하는 것을 목표로 합니다. 데이터를 재배열하여 중간 텍스트 섹션을 명시적으로 채우는 방법(Bavarian et al., 2022), 스크램블된 데이터로 훈련하는 방법(Sinha et al., 2021), 인수분해 순서의 모든 순열로 훈련하는 방법(Yang et al., 2019) 등 다른 방법도 제안되었습니다. 이와 관련하여 반복되는 세그먼트로 훈련 데이터를 변환하는 것도 언어 모델 임베딩을 개선하는 것으로 나타났습니다(Springer et al., 2024). BERT와 유사한 Encoder 전용 모델은 반전 저주를 완화하지 못하는 것으로 나타났습니다(Allen-Zhu & Li, 2023). 그러나 아키텍처와 훈련 절차를 수정하면 양방향 캐주얼 언어 모델링 Optimization(BICO)(Lv et al., 2023)를 도입하는 등 도움이 되는 것으로 나타났습니다. 이와는 대조적으로, 저희 연구는 표준 언어 모델 훈련을 현재 체제와 최대한 유사하게 유지하면서 문제를 해결하고자 합니다.
오른쪽에서 왼쪽으로, 마스킹 및 기타 훈련 변형다른 작업에서는 언어 모델을 바꾸어 쓰거나 의역된 텍스트로 사전 학습하도록 제안했지만(Lewis et al., 2020; Maini et al., 2024), 반전 저주를 목표로 하지 않았습니다. 오른쪽에서 왼쪽으로 훈련하는 방식은 이전에 연구된 바 있지만(Pfau et al., 2023), 왼쪽에서 오른쪽으로 모델과 멀티태스킹하는 방식은 아닙니다. 이 작업은 반전 저주를 목표로 한 것이 아니라 적대적 공격을 식별하는 완전히 다른 목표를 목표로 했습니다. 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로 훈련하는 대신 마스킹된 언어 모델은 콜로버트 등(2011)과 같은 초기 언어 모델링 작업과 BERT(Devlin et al., 2018)와 같은 모델로 돌아가서 '중간을 채우는 방법'을 학습하는 것을 목표로 합니다. 데이터를 재배열하여 중간 텍스트 섹션을 명시적으로 채우는 방법(Bavarian et al., 2022), 스크램블된 데이터로 훈련하는 방법(Sinha et al., 2021), 인수분해 순서의 모든 순열로 훈련하는 방법(Yang et al., 2019) 등 다른 방법도 제안되었습니다. 이와 관련하여 반복되는 세그먼트로 훈련 데이터를 변환하는 것도 언어 모델 임베딩을 개선하는 것으로 나타났습니다(Springer et al., 2024). BERT와 유사한 인코더 전용 모델은 반전 저주를 완화하지 못하는 것으로 나타났습니다(Allen-Zhu & Li, 2023). 그러나 아키텍처와 훈련 절차를 수정하면 양방향 캐주얼 언어 모델링 최적화(BICO)(Lv et al., 2023)를 도입하는 등 도움이 되는 것으로 나타났습니다. 이와는 대조적으로, 저희 연구는 표준 언어 모델 훈련을 현재 체제와 최대한 유사하게 유지하면서 문제를 해결하고자 합니다.