The concurrent work by Allen-Zhu & Li (2023) investigates a related set of failures and potential solutions. Exploring the capability to answer questions based on synthetic biographies, they examine several data augmentation strategies, including incorporating instruction tuning data into pre-training, generating multiple unique biography entries, permuting biography sentences, and substituting pronouns or partial names with full names. They discover that augmentation during the pre-training phase is essential for enhancing downstream question answering performance across various tasks. However, in real pre-training data, some augmentations may not be feasible -- for instance, permuting sentences could degrade language model quality, and it remains uncertain how to best rewrite data during augmentation. Reverse training addresses this issue by presenting a distinct language task (the reversed language) to the language model, thereby avoiding interference with the primary task of left-to-right natural language modeling.
Allen-Zhu & Li(2023)의 동시 작업은 관련된 일련의 실패와 잠재적 해결책을 조사합니다. 합성 전기 기반으로 질문에 답하는 기능을 탐구하기 위해 사전 학습에 Instruction Tuning 데이터 통합, 여러 개의 고유한 전기 항목 생성, 전기 문장 순열, 대명사 또는 부분 이름을 전체 이름으로 대체하는 등 여러 가지 데이터 증강 전략을 살펴봅니다. 이들은 다양한 작업에서 다운스트림 질문 답변 성능을 향상시키기 위해서는 사전 학습 단계에서의 증강이 필수적이라는 사실을 발견했습니다. 그러나 실제 사전 학습 데이터에서는 일부 증강이 불가능할 수 있습니다. 예를 들어, 문장을 순열하면 언어 모델의 품질이 저하될 수 있으며, 증강 중에 데이터를 가장 잘 다시 작성하는 방법은 아직 불확실합니다. 역 훈련은 언어 모델에 왼쪽에서 오른쪽으로의 자연어 모델링이라는 주요 작업과 간섭하지 않도록 하기 위해 언어 모델에 별개의 언어 작업(역어)을 제시함으로써 이 문제를 해결합니다.
Allen-Zhu & Li(2023)의 동시 작업은 관련된 일련의 실패와 잠재적 해결책을 조사합니다. 합성 전기 기반으로 질문에 답하는 기능을 탐구하기 위해 사전 학습에 지침 튜닝 데이터 통합, 여러 개의 고유한 전기 항목 생성, 전기 문장 순열, 대명사 또는 부분 이름을 전체 이름으로 대체하는 등 여러 가지 데이터 증강 전략을 살펴봅니다. 이들은 다양한 작업에서 다운스트림 질문 답변 성능을 향상시키기 위해서는 사전 학습 단계에서의 증강이 필수적이라는 사실을 발견했습니다. 그러나 실제 사전 학습 데이터에서는 일부 증강이 불가능할 수 있습니다. 예를 들어, 문장을 순열하면 언어 모델의 품질이 저하될 수 있으며, 증강 중에 데이터를 가장 잘 다시 작성하는 방법은 아직 불확실합니다. 역 훈련은 언어 모델에 왼쪽에서 오른쪽으로의 자연어 모델링이라는 주요 작업과 간섭하지 않도록 하기 위해 언어 모델에 별개의 언어 작업(역어)을 제시함으로써 이 문제를 해결합니다.