The most similar work to ours is the concurrent work of Guo et al. (2024). They employ various augmentations at the finetuning, rather than pre-training stage, including shuffling and reversing chunks of the input sentences. Unlike our method, their method first segments sentences in the training into semantically meaningful chunks via an LLM. While a chunk can be an entity name, it is more generally applied to all words, e.g. "of developing the first emotional" as a chunk. The actual segmentation is done via prompting another LLM with a specific instruction. Therefore, the unit of reversal will depend on the LLM and its prompt, making it presumably a difficult language modeling problem, whilst also requiring extra compute to reverse the sequence. This is applied only to finetuning on short sentences, which means the reversal curse mitigation is limited to the facts included in the finetuning data, and it is unclear if it can be applied to large pre-training documents. In contrast, our method is applied in the pre-training stage so it can learn to reverse a wide-range of general knowledge facts.
우리와 가장 유사한 작업은 Guo 등(2024)의 동시 작업입니다. 이들은 pre-training 단계가 아닌 Fine-tuning 단계에서 입력 문장의 일부를 셔플하고 반전하는 등 다양한 증강을 사용합니다. 이 방법은 우리 방법과 달리 먼저 훈련 중인 문장을 LLM을 통해 의미적으로 의미 있는 청크로 분할합니다. 청크는 엔티티 이름일 수도 있지만, 예를 들어 "최초의 감정을 개발하는 것"과 같이 모든 단어에 더 일반적으로 적용됩니다. 실제 분할은 특정 Instruction이 포함된 다른 LLM을 프롬프트하여 수행됩니다. 따라서 반전의 단위는 LLM과 프롬프트에 따라 달라지므로 언어 모델링 문제가 어려울 것으로 예상되며, 시퀀스를 반전시키기 위해 추가 계산이 필요합니다. 이는 짧은 문장에 대한 Fine-tuning에만 적용되므로 반전 저주 완화는 Fine-tuning 데이터에 포함된 사실에만 국한되며, 대규모 pre-training 문서에 적용할 수 있는지 여부는 불분명합니다. 반면에 저희 방법은 pre-training 단계에서 적용되므로 광범위한 일반 지식 사실을 반전하는 방법을 학습할 수 있습니다.
우리와 가장 유사한 작업은 Guo 등(2024)의 동시 작업입니다. 이들은 사전 학습 단계가 아닌 미세 조정 단계에서 입력 문장의 일부를 셔플하고 반전하는 등 다양한 증강을 사용합니다. 이 방법은 우리 방법과 달리 먼저 훈련 중인 문장을 LLM을 통해 의미적으로 의미 있는 청크로 분할합니다. 청크는 엔티티 이름일 수도 있지만, 예를 들어 "최초의 감정을 개발하는 것"과 같이 모든 단어에 더 일반적으로 적용됩니다. 실제 분할은 특정 지침이 포함된 다른 LLM을 프롬프트하여 수행됩니다. 따라서 반전의 단위는 LLM과 프롬프트에 따라 달라지므로 언어 모델링 문제가 어려울 것으로 예상되며, 시퀀스를 반전시키기 위해 추가 계산이 필요합니다. 이는 짧은 문장에 대한 미세 조정에만 적용되므로 반전 저주 완화는 미세 조정 데이터에 포함된 사실에만 국한되며, 대규모 사전 학습 문서에 적용할 수 있는지 여부는 불분명합니다. 반면에 저희 방법은 사전 학습 단계에서 적용되므로 광범위한 일반 지식 사실을 반전하는 방법을 학습할 수 있습니다.