General ImprovementsAcross all tasks in Table 1, we observe that models trained on synthetic data combined with the C4 dataset (Synthetic+C4) exhibit an overall higher average performance of 49.4% as compared to those trained solely on the real C4 dataset with a 85B token split, which scored an average of 47.4%. This shows that the inclusion of synthetic data can enhance the general understanding capabilities of NLP models. Moreover, even the TinyLlama model trained for 10x compute and data, performs comparably to the other models trained on real data. This suggests that the gains from filtering out, or adding more real data are very low. As opposed to this, **WRAP** shows that pre-training on even small amounts of synthetic data can contribute to large performance gains.
일반적인 개선<표 1>의 모든 작업에서 85B 토큰 분할로 실제 C4 데이터 세트만 학습한 모델보다 합성 데이터와 C4 데이터 세트(Synthetic+C4)를 결합하여 학습한 모델이 평균 49.4%로 전반적으로 더 높은 성능을 보이는 것으로 나타났습니다. 이는 합성 데이터를 포함하면 NLP 모델의 일반적인 이해 능력이 향상될 수 있음을 보여줍니다. 또한 10배의 컴퓨팅과 데이터에 대해 학습된 TinyLlama 모델도 실제 데이터에 대해 학습된 다른 모델과 비슷한 성능을 발휘합니다. 이는 필터링을 통해 실제 데이터를 제거하거나 더 많은 실제 데이터를 추가하는 것이 성능 향상에 거의 영향을 미치지 않는다는 것을 시사합니다. 반면에 **WRAP**은 소량의 합성 데이터에 대한 pre-training도 성능 향상에 크게 기여할 수 있음을 보여줍니다.
일반적인 개선<표 1>의 모든 작업에서 85B 토큰 분할로 실제 C4 데이터 세트만 학습한 모델보다 합성 데이터와 C4 데이터 세트(Synthetic+C4)를 결합하여 학습한 모델이 평균 49.4%로 전반적으로 더 높은 성능을 보이는 것으로 나타났습니다. 이는 합성 데이터를 포함하면 NLP 모델의 일반적인 이해 능력이 향상될 수 있음을 보여줍니다. 또한 10배의 컴퓨팅과 데이터에 대해 학습된 TinyLlama 모델도 실제 데이터에 대해 학습된 다른 모델과 비슷한 성능을 발휘합니다. 이는 필터링을 통해 실제 데이터를 제거하거나 더 많은 실제 데이터를 추가하는 것이 성능 향상에 거의 영향을 미치지 않는다는 것을 시사합니다. 반면에 **WRAP**은 소량의 합성 데이터에 대한 사전 학습도 성능 향상에 크게 기여할 수 있음을 보여줍니다.