Large language models are trained on massive scrapes of the web, which are often unstructured, noisy, and poorly phrased. Current scaling laws show that learning from such data requires an abundance of both compute and data, which grows with the size of the model being trained. This is infeasible both because of the large compute costs and duration associated with pre-training, and the impending scarcity of high-quality data on the web. In this work, we propose **Web** Rephrase **A**ugmented **P**re-training (**WRAP**) that uses an off-the-shelf instruction-tuned model prompted to paraphrase documents on the web in specific styles such as "like Wikipedia" or in "question-answer format" to jointly pre-train LLMs on real and synthetic rephrases. First, we show that using **WRAP** on the C4 dataset, which is naturally noisy, speeds up pre-training by \(\sim 3\times\). At the same pre-training compute budget, it improves perplexity by more than 10% on average across different subsets of the Pile, and improves zero-shot question answer accuracy across 13 tasks by more than 2%. Second, we investigate the impact of the re-phrasing style on the performance of the model, offering insights into how the composition of the training data can impact the performance of LLMs in OOD settings. Our gains are attributed to the fact that re-phrased synthetic data has higher utility than just real data because it (i) incorporates style diversity that closely reflects downstream evaluation style, and (ii) has higher 'quality' than web-scraped data.
대규모 언어 모델은 종종 비정형적이고 노이즈가 많으며 잘못 표현된 웹 스크랩을 대량으로 학습합니다. 현재의 scaling laws에 따르면 이러한 데이터로 학습하려면 학습 중인 모델의 크기에 따라 증가하는 compute와 data가 모두 풍부해야 합니다. 이는 pre-training과 관련된 막대한 compute 비용과 기간, 웹에서 고품질 data의 임박한 부족으로 인해 불가능합니다. 이 연구에서는 웹상의 문서를 '위키백과처럼' 또는 '질문-답변 형식'과 같은 특정 스타일로 의역하도록 프롬프트된 off-the-shelf Instruction-tuned 모델을 사용하여 실제 및 합성 의역에 대해 LLM을 공동으로 사전 학습하는 **Web** 의역 **A**ugmented **P**re-training(**WRAP**)을 제안합니다. 먼저, 자연적으로 노이즈가 많은 C4 데이터 세트에 **WRAP**을 사용하면 사전 학습 속도가 \(3배\) 가속화된다는 것을 보여줍니다. 동일한 사전 학습 compute 예산에서 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 먼저, 자연적으로 노이즈가 많은 C4 데이터 세트에 **WRAP**을 사용하면 사전 학습 속도가 \(3배\) 가속화된다는 것을 보여줍니다. 동일한 사전 학습 compute 예산에서 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 먼저, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 먼저, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다.
대규모 언어 모델은 종종 비정형적이고 노이즈가 많으며 잘못 표현된 웹 스크랩을 대량으로 학습합니다. 현재의 스케일링 법칙에 따르면 이러한 데이터로 학습하려면 학습 중인 모델의 크기에 따라 증가하는 컴퓨팅과 데이터가 모두 풍부해야 합니다. 이는 사전 학습과 관련된 막대한 컴퓨팅 비용과 기간, 웹에서 고품질 데이터의 임박한 부족으로 인해 불가능합니다. 이 연구에서는 웹상의 문서를 '위키백과처럼' 또는 '질문-답변 형식'과 같은 특정 스타일로 의역하도록 프롬프트된 오프더 셸프 지시 튜닝 모델을 사용하여 실제 및 합성 의역에 대해 LLM을 공동으로 사전 학습하는 **Web** 의역 **A**ugmented **P**re-training(**WRAP**)을 제안합니다. 먼저, 자연적으로 노이즈가 많은 C4 데이터 세트에 **WRAP**을 사용하면 사전 학습 속도가 \(3배\) 가속화된다는 것을 보여줍니다. 동일한 사전 학습 컴퓨팅 예산에서 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 먼저, 자연적으로 노이즈가 많은 C4 데이터 세트에 **WRAP**을 사용하면 사전 학습 속도가 \(3배\) 가속화된다는 것을 보여줍니다. 동일한 사전 학습 컴퓨팅 예산에서 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 먼저, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 먼저, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다. 또한, 더 많은 양의 데이터를 학습할 수 있게 되면 더 높은 성능을 얻을 수 있습니다.