Figure 2 reports the validation losses for \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) for all models throughout the first 50B tokens of continued pre-training on \(\mathcal{D}_{1}\). The top row reports results for the weak distribution shift, while the bottom row reports results for the strong distribution shift. Across both distribution shifts, we observe initially that models using shorter linear warmup initially forget and adapt faster than their longer warmup counterparts. This happens because they increase the LR faster which leads to faster forgetting and adaptation. In all scenarios, however, these initial differences diminish throughout training, leaving all models with relatively similar forgetting and adaptation after 50B tokens. Thus, in the settings explored, **the duration of linear warm-up phase does not appear to be impactful on forgetting or adaptation when continuing to pre-train.** With this in mind, we set a linear warmup duration of 1% of training iterations for all subsequent experiments.
그림 2는 \(\mathcal{D}_{1}\)에 대한 지속적인 사전 학습의 첫 50B 토큰 전체에 걸쳐 모든 모델에 대한 \(\mathcal{D}_{0}\) 및 \(\mathcal{D}_{1}\)에 대한 validation losses를 보고합니다. 위쪽 행은 약한 분포 변화에 대한 결과를 보고하고, 아래쪽 행은 강한 분포 변화에 대한 결과를 보고합니다. 두 분포 변화 모두에서 처음에는 초기 warmup이 짧은 모델이 긴 warmup 모델보다 더 빨리 잊어버리고 적응하는 것을 관찰할 수 있습니다. 이는 Learning Rate를 더 빨리 증가시켜 더 빨리 잊어버리고 적응하기 때문입니다. 그러나 모든 시나리오에서 이러한 초기 차이는 훈련이 진행됨에 따라 줄어들어 50B 토큰 이후에는 모든 모델이 비교적 비슷한 잊어버림과 적응을 보입니다. 따라서 탐색한 설정에서 linear warm-up 단계의 지속 시간은 사전 학습을 계속할 때 잊어버림이나 적응에 영향을 미치지 않는 것으로 보입니다. 이를 염두에 두고 모든 후속 실험에 대해 linear warmup 기간을 훈련 반복의 1%로 설정했습니다.
그림 2는 \(\mathcal{D}_{1}\)에 대한 지속적인 사전 학습의 첫 50B 토큰 전체에 걸쳐 모든 모델에 대한 \(\mathcal{D}_{0}\) 및 \(\mathcal{D}_{1}\)에 대한 유효성 검사 손실을 보고합니다. 위쪽 행은 약한 분포 변화에 대한 결과를 보고하고, 아래쪽 행은 강한 분포 변화에 대한 결과를 보고합니다. 두 분포 변화 모두에서 처음에는 초기 워밍업이 짧은 모델이 긴 워밍업 모델보다 더 빨리 잊어버리고 적응하는 것을 관찰할 수 있습니다. 이는 LR을 더 빨리 증가시켜 더 빨리 잊어버리고 적응하기 때문입니다. 그러나 모든 시나리오에서 이러한 초기 차이는 훈련이 진행됨에 따라 줄어들어 500억 토큰 이후에는 모든 모델이 비교적 비슷한 잊어버림과 적응을 보입니다. 따라서 탐색한 설정에서 선형 워밍업 단계의 지속 시간은 사전 학습을 계속할 때 잊어버림이나 적응에 영향을 미치지 않는 것으로 보입니다. 이를 염두에 두고 모든 후속 실험에 대해 선형 워밍업 기간을 훈련 반복의 1%로 설정했습니다.