Data ComplexityIn Figure 0(c), we show that models trained for fewer tokens (150B) and even smaller 350M models outperform training on the full C4 for 300B tokens indicating faster learning with synthetic rephrases. On some domains such as ArXiv and HackerNews, we observe that training with synthetic data allows reducing the perplexity by nearly 3x of the perplexity of models trained on real data alone. This suggests that in many cases it may not be possible to offset the performance advantage of pre-training on synthetic data by merely training on more real data. Overall, on an average of multiple subsets of the Pile, our models improve perplexity by 50% over models trained on real data alone.
데이터 복잡성 그림 0(c)에서는 더 적은 토큰(150B)과 더 작은 350M 모델로 훈련된 모델이 300B 토큰에 대한 전체 C4에 대한 훈련보다 더 나은 성능을 보여 synthetic rephrases를 통해 더 빠른 학습이 가능하다는 것을 보여줍니다. ArXiv 및 HackerNews와 같은 일부 도메인에서는 synthetic data로 훈련하면 실제 데이터로만 훈련된 모델의 perplexity를 거의 3배까지 줄일 수 있는 것을 관찰했습니다. 이는 많은 경우 더 많은 실제 데이터로 훈련하는 것만으로는 synthetic data에 대한 사전 훈련의 성능 이점을 상쇄할 수 없을 수 있음을 시사합니다. 전반적으로 Pile의 여러 하위 집합의 평균에서 우리의 모델은 실제 데이터로만 훈련된 모델에 비해 perplexity를 50% 개선했습니다.
데이터 복잡성그림 0(c)에서는 더 적은 토큰(150B)과 더 작은 350M 모델로 훈련된 모델이 300B 토큰에 대한 전체 C4에 대한 훈련보다 더 나은 성능을 보여 합성 문구를 통해 더 빠른 학습이 가능하다는 것을 보여줍니다. ArXiv 및 HackerNews와 같은 일부 도메인에서는 합성 데이터로 훈련하면 실제 데이터로만 훈련된 모델의 당혹감을 거의 3배까지 줄일 수 있는 것을 관찰했습니다. 이는 많은 경우 더 많은 실제 데이터로 훈련하는 것만으로는 합성 데이터에 대한 사전 훈련의 성능 이점을 상쇄할 수 없을 수 있음을 시사합니다. 전반적으로 Pile의 여러 하위 집합의 평균에서 우리의 모델은 실제 데이터로만 훈련된 모델에 비해 당혹감을 50% 개선했습니다.