Before, we dive into the feasibility of pre-training on synthetic data, we should acknowledge the results of Table 1. The TinyLlama model trained for 3 Trillion tokens also underperforms a model jointly trained on real and synthetic data. In fact, it performs quite comparably to the models that were trained for 300B tokens on just real data as well. This suggests that the ceiling for improvement by training for longer may not be that high (for a model of size 350M/1.3B parameters; larger models may benefit from training for longer).
합성 데이터에 대한 사전 학습의 타당성을 살펴보기 전에 표 1의 결과를 인정해야 합니다. 3조 토큰 동안 학습된 TinyLlama 모델은 실제 데이터와 합성 데이터에 공동으로 학습된 모델보다 성능이 떨어집니다. 실제로 실제 데이터에 대해 300B 토큰 동안 학습된 모델과도 비교적 비슷한 성능을 보입니다. 이는 더 오래 학습하여 개선할 수 있는 한도가 그리 높지 않을 수 있음을 시사합니다(350M/1.3B 파라미터 크기의 모델의 경우, 더 큰 모델은 더 오래 학습하는 것이 도움이 될 수 있습니다).
합성 데이터에 대한 사전 학습의 타당성을 살펴보기 전에 표 1의 결과를 인정해야 합니다. 3조 토큰 동안 학습된 TinyLlama 모델은 실제 데이터와 합성 데이터에 공동으로 학습된 모델보다 성능이 떨어집니다. 실제로 실제 데이터에 대해 3,000억 토큰 동안 학습된 모델과도 비교적 비슷한 성능을 보입니다. 이는 더 오래 학습하여 개선할 수 있는 한도가 그리 높지 않을 수 있음을 시사합니다(3억 5,000만/13억 파라미터 크기의 모델의 경우, 더 큰 모델은 더 오래 학습하는 것이 도움이 될 수 있습니다).