Given the influence that the learning rate can have on adaptation and the low final LR values of prominent LLMs (Rae et al., 2021; Hoffmann et al., 2022; Zhao et al., 2023; Touvron et al., 2023;a), we hypothesize that the LR should be re-warmed and re-decayed to promote adaptation during continual pre-training. In this section, we investigate the effect of linear warmup duration, re-warming the LR, re-decaying the LR, and the magnitude of the \(\eta_{max}\) when continuing to pre-train. Specifically, we evaluate their respective effects in the **two-dataset weak shift** setting (300B Pile \(\rightarrow\) 300B SlimPajama) and the **two-dataset stronger shift** setting (300B Pile \(\rightarrow\) 300B SlimPajama). Notably, the model trained on \(\mathcal{D}_{0}\) (300B tokens of Pile) follow a linear warmup and cosine decay schedule1, simulating many common open-source pre-trained LLMs.
학습 속도(Learning Rate)가 적응에 미칠 수 있는 영향과 저명한 LLM의 낮은 최종 Learning Rate 값(Rae et al., 2021; Hoffmann et al., 2022; Zhao et al., 2023; Touvron et al., 2023;a)을 고려할 때, 지속적인 사전 학습 중에 적응을 촉진하기 위해 Learning Rate를 재가열하고 재감쇠해야 한다고 가정합니다. 이 섹션에서는 선형 워밍업 기간, Learning Rate 재가열, Learning Rate 재감쇠, 사전 학습을 계속할 때 \(\eta_{max}\)의 크기가 미치는 영향을 조사합니다. 특히, **두 데이터 세트의 약한 변화** 설정(300B Pile \(\rightarrow\) 300B SlimPajama)과 **두 데이터 세트의 강한 변화** 설정(300B Pile \(\rightarrow\) 300B SlimPajama)에서 각각의 효과를 평가합니다. 특히, \(\mathcal{D}_{0}\)에서 학습된 모델(300B 토큰의 Pile)은 선형 워밍업 및 코사인 감쇠 스케줄1을 따르며, 이는 많은 오픈 소스 사전 학습된 LLM을 시뮬레이션합니다.
학습 속도가 적응에 미칠 수 있는 영향과 저명한 LLM의 낮은 최종 LR 값(Rae et al., 2021; Hoffmann et al., 2022; Zhao et al., 2023; Touvron et al., 2023;a)을 고려할 때, 지속적인 사전 학습 중에 적응을 촉진하기 위해 LR을 재가열하고 재감쇠해야 한다고 가정합니다. 이 섹션에서는 선형 워밍업 기간, LR 재가열, LR 재감쇠, 사전 학습을 계속할 때 \(\eta_{max}\)의 크기가 미치는 영향을 조사합니다. 특히, **두 데이터 세트의 약한 변화** 설정(300B Pile \(\rightarrow\) 300B SlimPajama)과 **두 데이터 세트의 강한 변화** 설정(300B Pile \(\rightarrow\) 300B SlimPajama)에서 각각의 효과를 평가합니다. 특히, \(\mathcal{D}_{0}\)에서 학습된 모델(300B 토큰의 Pile)은 선형 워밍업 및 코사인 감쇠 스케줄1을 따르며, 이는 많은 오픈 소스 사전 학습된 LLM을 시뮬레이션합니다.