In this work, we propose **Web** Rephrase **A**ugmented Pre-training (**WRAP**)--that attempts to bridge three important challenges stemming from the ambiguity around data curation--(**i**) what data should you pre-train on? (ii) how can you pre-train with limited data? (iii) how can you pre-train computationally efficiently? In particular, we show that re-phrasing documents on the web using an off-the-shelf medium size LLM allows models to learn much more efficiently than learning from raw text on the web, and accounts for performance gains on out of distribution datasets that _can not_ be offset with additional web data. Our proposed method involves using a pre-trained off-the-shelf LLM to re-phrase documents from a web corpus into different styles. An overview of our approach is shown in Figure 0(a).
이 연구에서 우리는 데이터 큐레이션의 모호성에서 비롯된 세 가지 중요한 과제를 해결하려는 **Web** Rephrase **A**ugmented Pre-training (**WRAP**)을 제안합니다--(**i**) 어떤 데이터로 사전 훈련을 해야 하는가? (ii) 제한된 데이터로 어떻게 사전 훈련을 할 수 있는가? (iii) 어떻게 계산 효율적으로 사전 훈련을 할 수 있는가? 특히, 우리는 중간 크기의 기성 LLM을 사용하여 웹의 문서를 다시 표현하는 것이 웹의 원시 텍스트에서 학습하는 것보다 훨씬 더 효율적으로 모델이 학습할 수 있게 하며, 추가적인 웹 데이터로는 상쇄할 수 없는 분포 외 데이터셋에서의 성능 향상을 설명한다는 것을 보여줍니다. 우리가 제안한 방법은 사전 훈련된 기성 LLM을 사용하여 웹 코퍼스의 문서를 다양한 스타일로 다시 표현하는 것을 포함합니다. 우리의 접근 방식에 대한 개요는 Figure 0(a)에 나와 있습니다.
이 작업에서는 데이터 큐레이션을 둘러싼 모호성에서 비롯된 세 가지 중요한 과제(**i**) 무엇을 미리 학습해야 하는가? (ii) 제한된 데이터로 어떻게 사전 학습할 수 있는가? (iii) 어떻게 하면 계산 효율적으로 사전 학습할 수 있는가? 특히, 기성 중형 LLM을 사용하여 웹에서 문서를 다시 표현하면 모델이 웹의 원시 텍스트에서 학습하는 것보다 훨씬 더 효율적으로 학습할 수 있으며, 추가 웹 데이터로 상쇄할 수 없는 분산 데이터 세트에서 성능 향상을 설명할 수 있다는 것을 보여 줍니다. 제안한 방법은 사전 학습된 기성 LLM을 사용하여 웹 말뭉치의 문서를 다른 스타일로 다시 표현하는 것입니다. 이 접근 방식에 대한 개요는 그림 0(a)에 나와 있습니다.