We experiment on a typical scenario of continual pretraining, where we train the model on the mixture of original pretraining data and upcoming data of a target domain to enhance. For instance, we continually pretrain Pythia-70M models with a mixture of the Pile and Python codes, where the former is the original pretraining data of the base model. To verify whether our data mixing laws apply to continual pretraining, we train the models for 10B tokens on 4 mixtures and fit the Eqn. 6 on losses of the Pile and python codes. Results in Fig. 8 confirm that Eqn. 6 fits into the losses of continual pretraining.
우리는 향상시키려는 대상 도메인의 원래 pretraining 데이터와 다가오는 데이터의 혼합물에 대해 모델을 학습시키는 일반적인 연속 pretraining 시나리오를 실험합니다. 예를 들어, Pile과 Python 코드의 혼합물로 Pythia-70M 모델을 지속적으로 pretrain하는데, 전자는 기본 모델의 원래 pretraining 데이터입니다. 데이터 믹싱 법칙이 지속적인 pretraining에 적용되는지 확인하기 위해 4가지 혼합물에 대해 10B 토큰 동안 모델을 학습하고 Pile 및 Python 코드의 Loss에 대해 Eqn. 6을 맞춥니다. Fig. 8의 결과는 Eqn. 6이 지속적인 pretraining의 Loss에 적합하다는 것을 확인시켜 줍니다.
우리는 향상시키려는 대상 도메인의 원래 사전 학습 데이터와 다가오는 데이터의 혼합물에 대해 모델을 학습시키는 일반적인 연속 사전 학습 시나리오를 실험합니다. 예를 들어, 파이썬 코드와 파이썬 코드의 혼합물로 Pythia-70M 모델을 지속적으로 사전 학습하는데, 전자는 기본 모델의 원래 사전 학습 데이터입니다. 데이터 믹싱 법칙이 지속적인 사전 학습에 적용되는지 확인하기 위해 4가지 혼합물에 대해 10B 토큰 동안 모델을 학습하고 Pile 및 파이썬 코드의 손실에 대해 Eqn. 6을 맞춥니다. Fig. 8의 결과는 Eqn. 6이 지속적인 사전 학습의 손실에 적합하다는 것을 확인시켜 줍니다.