Continually Pre-trained ModelsTo ablate the performance of combining LR re-warming and re-decaying with replay, we opt to train one model that exclusively re-warms and re-decays the learning rate and another that combines both techniques. Given results from the previous section for the weak distribution shift, we select 5% replay for the weak shift setting and 25% replay for the stronger shift setting. For both models, we re-warm to the \(\eta_{\textit{max}}\) of pre-training (\(3\cdot 10^{-4}\)) and re-decay it using a cosine decay schedule set to reach \(\eta_{\textit{min}}\) by the end of continual pre-training. More hyperparameters are reported in Table 13 of the appendix.
지속적으로 사전 학습된 모델LR 재가열 및 재감쇠와 리플레이의 결합 성능을 분석하기 위해 Learning Rate만 재가열 및 재감쇠하는 모델과 두 가지 기술을 모두 결합하는 모델을 하나씩 훈련하기로 결정했습니다. 약한 분포 이동에 대한 이전 섹션의 결과를 감안하여 약한 이동 설정에는 5% 리플레이를, 더 강한 이동 설정에는 25% 리플레이를 선택합니다. 두 모델 모두 사전 학습의 (\(3\cdot 10^{-4}\))을 \(\eta_{\textit{max}}\)로 재가열하고 코사인 감쇠 일정을 사용하여 재감쇠하여 지속적인 사전 학습이 끝날 때까지 \(\eta_{\textit{min}}\)에 도달하도록 설정합니다. 자세한 하이퍼파라미터는 부록의 표 13에 보고되어 있습니다.
지속적으로 사전 학습된 모델LR 재가열 및 재감쇠와 리플레이의 결합 성능을 분석하기 위해 학습 속도만 재가열 및 재감쇠하는 모델과 두 가지 기술을 모두 결합하는 모델을 하나씩 훈련하기로 결정했습니다. 약한 분포 이동에 대한 이전 섹션의 결과를 감안하여 약한 이동 설정에는 5% 리플레이를, 더 강한 이동 설정에는 25% 리플레이를 선택합니다. 두 모델 모두 사전 학습의 (\(3\cdot 10^{-4}\))을 \(\eta_{\textit{max}}\)로 재가열하고 코사인 감쇠 일정을 사용하여 재감쇠하여 지속적인 사전 학습이 끝날 때까지 \(\eta_{\textit{min}}\)에 도달하도록 설정합니다. 자세한 하이퍼파라미터는 부록의 표 13에 보고되어 있습니다.