RQ4: Does synthetic data improve over augmentations?Are the gains observed by pre-training on synthetic data the same as pre-training with augmentations? In order to test this, we consider two popular text augmentation baselines--synonym replacement and random deletion using the NL-Augmenter library (Dhole et al., 2021). We pre-train a 350M parameter model for 15B tokens in order to conduct this set of experiments. The total pool size is only about 1.5B tokens, meaning that the model would have to repeat data around 10 times during the pre-training phase, unless augmented over. As seen in the perplexity analysis in Figure 6, the models trained on augmented data perform significantly worse than those trained on combinations of real and synthetic data. This suggests that synthetic data enhances the learning process, and is not merely another form of augmentation.
합성 데이터가 증강보다 개선되나요? 합성 데이터에 대한 사전 학습으로 관찰된 이득이 증강을 통해 사전 학습한 것과 동일한가요? 이를 테스트하기 위해 두 가지 인기 있는 텍스트 증강 베이스라인, 즉 동의어 대체와 무작위 삭제(NL-Augmenter 라이브러리(Dhole et al., 2021))를 고려합니다. 이 일련의 실험을 수행하기 위해 350M 파라미터 모델을 15B 토큰에 대해 사전 학습합니다. 총 풀 크기는 약 15억 토큰에 불과하므로, 증강하지 않는 한 모델이 사전 학습 단계에서 데이터를 약 10번 반복해야 합니다. 그림 6의 Perplexity 분석에서 볼 수 있듯이, 증강된 데이터로 학습한 모델은 실제 데이터와 합성 데이터의 조합으로 학습한 모델보다 훨씬 더 나쁜 성능을 보입니다. 이는 합성 데이터가 단순한 증강의 또 다른 형태가 아니라 학습 과정을 향상시킨다는 것을 시사합니다.
RQ4: 합성 데이터가 증강보다 개선되나요? 합성 데이터에 대한 사전 학습으로 관찰된 이득이 증강을 통해 사전 학습한 것과 동일한가요? 이를 테스트하기 위해 두 가지 인기 있는 텍스트 증강 베이스라인, 즉 동의어 대체와 무작위 삭제(NL-Augmenter 라이브러리(Dhole et al., 2021))를 고려합니다. 이 일련의 실험을 수행하기 위해 350M 파라미터 모델을 15B 토큰에 대해 사전 학습합니다. 총 풀 크기는 약 15억 토큰에 불과하므로, 증강하지 않는 한 모델이 사전 학습 단계에서 데이터를 약 10번 반복해야 합니다. 그림 6의 난해성 분석에서 볼 수 있듯이, 증강된 데이터로 학습한 모델은 실제 데이터와 합성 데이터의 조합으로 학습한 모델보다 훨씬 더 나쁜 성능을 보입니다. 이는 합성 데이터가 단순한 증강의 또 다른 형태가 아니라 학습 과정을 향상시킨다는 것을 시사합니다.