Figure 1: (a) **WRAP** Recipe: We prompt an off-the-shelf instruction-tuned model to rephrase articles on the web, and pre-train an LLM on a mixture of real and synthetic data. (b) Zero-shot performance of GPT 1.3B models trained on combinations of C4 and synthetic variations. Each step corresponds to a batch of 1M samples. (c) Weighted average perplexity over 21 sub-domains of the Pile for varying model sizes and amount of pre-training data.
그림 1: (a) **WRAP** Recipe: 웹에서 기사를 바꾸라고 Instruction-tuned 모델에 프롬프트하고, 실제 데이터와 합성 데이터의 혼합물로 LLM을 사전 학습합니다. (b) C4와 합성 변형의 조합으로 학습된 GPT 1.3B 모델의 Zero-shot 성능. 각 단계는 1M 샘플 배치에 해당합니다. (c) 다양한 모델 크기와 사전 학습 데이터 양에 대한 Pile의 21개 하위 도메인에 대한 가중 평균 Perplexity.
그림 1: (a) **WRAP** 레시피: 웹에서 기사를 바꾸라고 즉시 튜닝된 기성 모델에 프롬프트하고, 실제 데이터와 합성 데이터의 혼합물로 LLM을 사전 학습합니다. (b) C4와 합성 변형의 조합으로 학습된 GPT 1.3B 모델의 제로 샷 성능. 각 단계는 1M 샘플 배치에 해당합니다. (c) 다양한 모델 크기와 사전 학습 데이터 양에 대한 더미의 21개 하위 도메인에 대한 가중 평균 당혹감.