We first investigate the effect of linear warm-up duration on forgetting and adaptation in the **two datasets, weak shift** and **two dataset, stronger shift** settings (see Sec. 5.2 for details). The models are pre-trained on 300B tokens of Pile (Gao et al., 2020) (\(\mathcal{D}_{0}\)). We continue to pre-train the models on SlimPajama (weak shift) and German Common Crawl (strong shift) for the first 50B tokens of training.
먼저, **두 데이터 세트, 약한 시프트** 및 **두 데이터 세트, 강한 시프트** 설정에서 linear warm-up 기간이 잊어버림과 적응에 미치는 영향을 조사합니다(자세한 내용은 섹션 5.2 참조). 모델은 300B tokens의 Pile(Gao et al., 2020)(\(\mathcal{D}_{0}\))에 대해 pre-trained 합니다. 모델을 SlimPajama(약한 시프트) 및 German Common Crawl(강한 시프트)에 대해 처음 50B tokens의 학습 동안 계속 pre-train 합니다.
먼저, **두 데이터 세트, 약한 시프트** 및 **두 데이터 세트, 강한 시프트** 설정에서 선형 워밍업 기간이 잊어버림과 적응에 미치는 영향을 조사합니다(자세한 내용은 섹션 5.2 참조). 모델은 300B 토큰의 Pile(Gao et al., 2020)(\(\mathcal{D}_{0}\))에 대해 사전 학습합니다. 모델을 SlimPajama(약한 시프트) 및 독일 커먼 크롤(강한 시프트)에 대해 처음 50B 토큰의 학습 동안 계속 사전 학습합니다.