Using **WRAP** on the C4, we evaluate model performance on 13 different zero-shot tasks, and 21 different language modeling domains of the Pile, and find that pre-training LLMs with synthetic data allows us to train equivalent models with 5x lesser data, or 3x lesser compute. In fact, our synthetic data trained models, also outperform the recent TinyLLama models that were trained for 3 trillion tokens (10x data and compute) across several zero-shot Q/A tasks. We further observe a reduction in perplexity by \(\sim\) 50% on the Pile, and note that our 350M parameter model trained on combinations of real and synthetic rephrases on just 15% of the entire C4 corpus, outperforms pre-training a 1.3B parameter on the entire C4. Finally, we conduct an analysis on the potential of data leakage, properties of synthetic data styles, and how to combine synthetic data for improving **WRAP** based LLM pre-training.
C4에서 **WRAP**을 사용하여 13개의 다양한 zero-shot 태스크와 Pile의 21개의 다양한 language modeling 도메인에 대한 모델 성능을 평가한 결과, 합성 데이터로 LLM을 pre-training하면 5배 적은 데이터 또는 3배 적은 컴퓨팅으로 동등한 모델을 훈련할 수 있음을 발견했습니다. 실제로 합성 데이터로 훈련된 모델은 여러 zero-shot Q/A 작업에서 3조 토큰(10배 데이터 및 컴퓨팅)에 대해 훈련된 최근의 TinyLLama 모델보다 성능이 뛰어납니다. 또한 Pile에서 \(\sim\) 50%의 perplexity 감소를 관찰했으며, 전체 C4 코퍼스의 15%에 대해 실제 및 합성 문구를 조합하여 훈련한 350M 파라미터 모델이 전체 C4에 대해 1.3B 파라미터를 pre-training하는 것보다 성능이 뛰어나다는 점에 주목합니다. 마지막으로 데이터 유출 가능성, 합성 데이터 스타일의 특성, **WRAP** 기반 LLM pre-training을 개선하기 위한 합성 데이터 결합 방법에 대한 분석을 수행합니다.
C4에서 **WRAP**을 사용하여 13개의 다양한 0샷 태스크와 Pile의 21개의 다양한 언어 모델링 도메인에 대한 모델 성능을 평가한 결과, 합성 데이터로 LLM을 사전 학습하면 5배 적은 데이터 또는 3배 적은 컴퓨팅으로 동등한 모델을 훈련할 수 있음을 발견했습니다. 실제로 합성 데이터로 훈련된 모델은 여러 0샷 Q/A 작업에서 3조 토큰(10배 데이터 및 컴퓨팅)에 대해 훈련된 최근의 TinyLLama 모델보다 성능이 뛰어납니다. 또한 Pile에서 \(\sim\) 50%의 난해도 감소를 관찰했으며, 전체 C4 코퍼스의 15%에 대해 실제 및 합성 문구를 조합하여 훈련한 3억 5천만 개의 파라미터 모델이 전체 C4에 대해 13억 개의 파라미터를 사전 훈련하는 것보다 성능이 뛰어나다는 점에 주목합니다. 마지막으로 데이터 유출 가능성, 합성 데이터 스타일의 특성, **WRAP** 기반 LLM 사전 학습을 개선하기 위한 합성 데이터 결합 방법에 대한 분석을 수행합니다.