In this subsection, we establish the effect of increasing parameter count by an order of magnitude on the final performance of continual pre-training. To accomplish this we compare two continually pre-trained models to several baselines at 405M and 10B parameter model sizes in the _two dataset weak shift_ (Pile \(\rightarrow\) SlimPajama) and _two dataset strong shift_ (Pile \(\rightarrow\) German) settings.
이 하위 섹션에서는 지속적인 사전 학습의 최종 성능에 대한 매개변수 수의 10배 증가 효과를 확인합니다. 이를 위해 405M 및 10B parameter 모델 크기에서 지속적으로 사전 학습된 두 개의 모델을 _두 dataset 약한 shift_ (Pile \(\rightarrow\) SlimPajama) 및 _두 dataset 강한 shift_ (Pile \(\rightarrow\) German) 설정에서 여러 baseline과 비교합니다.
이 하위 섹션에서는 지속적인 사전 학습의 최종 성능에 대한 매개변수 수의 10배 증가 효과를 확인합니다. 이를 위해 405M 및 10B 파라미터 모델 크기에서 지속적으로 사전 학습된 두 개의 모델을 _두 데이터 세트 약한 시프트_ (Pile \(\rightarrow\) SlimPajama) 및 _두 데이터 세트 강한 시프트_ (Pile \(\rightarrow\) German) 설정에서 여러 베이스라인과 비교합니다.