We now investigate the benefits of re-warming and re-decaying the learning rate (e.g., following a cosine schedule) for different values of \(\eta_{\text{max}}\). Specifically, we compare these models to two natural baselines: a model that does not re-warm, staying constant at \(\eta_{\text{min}}\) (\(3\cdot 10^{-5}\)), and a model that re-warms to the pre-training \(\eta_{\text{max}}\) (\(3\cdot 10^{-4}\)) but does not re-decay. We use the same two-dataset settings: we first pre-train on the Pile (\(\mathcal{D}_{0}\)) for 300B tokens and continually pre-train our model on SlimPjama (weak shift) or German Common Crawl (strong shift) as our \(\mathcal{D}_{1}\) datasets. The continual pre-training is conducted for the full size (300B and 200B tokens, respectively) of the datasets. The models that re-warm and re-decay the LR consider three strategies: re-warming to half the pre-training's \(\eta_{\text{max}}\) (\(1.5\cdot 10^{-4}\)), re-warming to the same \(\eta_{\text{max}}\) as pre-training (\(3\cdot 10^{-4}\)), and re-warming to twice the \(\eta_{\text{max}}\) of pre-training (\(6\cdot 10^{-4}\)). In all cases, the learning rate is cosine-decayed after linear warmup to reach \(\eta_{\text{min}}=0.1\cdot\eta_{\text{max}}\) by the end of training. Finally, we consider models trained on \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) as a third baseline to provide an upper bound on performance.
이제 다양한 \(\eta_{\text{max}}\) 값에 대해 Learning Rate를 재가열하고 재감쇠하는 것(예: 코사인 스케줄에 따름)의 이점을 조사합니다. 특히, 이러한 모델을 재가열하지 않고 \(\eta_{\text{min}}\)(3\cdot 10^{-5}\))에서 일정하게 유지하는 모델과 재가열하지 않고 사전 학습 \(\eta_{\text{max}}\)(3\cdot 10^{-4}\))로 재가열하지만 재감쇠하지 않는 모델의 두 가지 자연 기준과 비교합니다. 동일한 두 가지 데이터 세트 설정을 사용합니다. 먼저 Pile(\(\mathcal{D}_{0}\))에서 300B 토큰에 대해 사전 학습을 수행하고, SlimPjama(약한 시프트) 또는 German Common Crawl(강한 시프트)에 대해 모델을 연속적으로 사전 학습하여 \(\mathcal{D}_{1}\) 데이터 세트로 사용합니다. 연속적인 사전 학습은 데이터 세트의 전체 크기(각각 300B 및 200B 토큰)에 대해 수행됩니다. Learning Rate를 재가열하고 재감쇠하는 모델은 사전 학습의 \(\eta_{\text{max}}\)(1.5\cdot 10^{-4}\), 사전 학습과 동일한 \(\eta_{\text{max}}\)(3\cdot 10^{-4}\), 사전 학습의 \(\eta_{\text{max}}\)(6\cdot 10^{-4}\), 사전 학습의 두 배로 재가열하는 세 가지 전략을 고려합니다. 모든 경우에 있어서, Learning Rate는 선형 워밍업 후 코사인 감소하여 훈련이 끝날 때까지 \(\eta_{\text{min}}=0.1\cdot\eta_{\text{max}}\)에 도달합니다. 마지막으로, 성능의 상한을 제공하기 위해 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\)에 대해 훈련된 모델을 세 번째 베이스라인으로 고려합니다.
이제 다양한 \(\eta_{\text{max}}\) 값에 대해 학습 속도를 재가열하고 재감쇠하는 것(예: 코사인 스케줄에 따름)의 이점을 조사합니다. 특히, 이러한 모델을 재가열하지 않고 \(\eta_{\text{min}}\)(3\cdot 10^{-5}\))에서 일정하게 유지하는 모델과 재가열하지 않고 사전 학습 \(\eta_{\text{max}}\)(3\cdot 10^{-4}\))로 재가열하지만 재감쇠하지 않는 모델의 두 가지 자연 기준과 비교합니다. 동일한 두 가지 데이터 세트 설정을 사용합니다. 먼저 Pile(\mathcal{D}_{0}\))에서 300B 토큰에 대해 사전 학습을 수행하고, SlimPjama(약한 시프트) 또는 German Common Crawl(강한 시프트)에 대해 모델을 연속적으로 사전 학습하여 \(\mathcal{D}_{1}\) 데이터 세트로 사용합니다. 연속적인 사전 학습은 데이터 세트의 전체 크기(각각 300B 및 200B 토큰)에 대해 수행됩니다. LR을 재가열하고 재감쇠하는 모델은 사전 학습의 \(\eta_{\text{max}}\)(1.5\cdot 10^{-4}\), 사전 학습과 동일한 \(\eta_{\text{max}}\)(3\cdot 10^{-4}\), 사전 학습의 \(\eta_{\text{max}}\)(6\cdot 10^{-4}\), 사전 학습의 두 배로 재가열하는 세 가지 전략을 고려합니다. 모든 경우에 있어서, 학습률은 선형 워밍업 후 코사인 감소하여 훈련이 끝날 때까지 \(\eta_{\text{min}}=0.1\cdot\eta_{\text{max}}\)에 도달합니다. 마지막으로, 성능의 상한을 제공하기 위해 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\)에 대해 훈련된 모델을 세 번째 베이스라인으로 고려합니다.