Continuually Pre-trained ModelsTo ablate the performance of combining LR re-warming and re-decaying with replay, we opt to train one model that exclusively re-warms and re-decays the learning rate and another that combines both techniques. Given results from (Sec. 6.2) for the weak distribution shift, we select 5% replay for both model scales. For both models, we re-warm to the \(\eta_{max}\) of pre-training (\(3\cdot 10^{-4}\)) and re-decay using cosine annealing set to reach \(\eta_{min}\) by the end of continual pre-training. More hyperparameters are reported in Table 13 of the appendix.
지속적으로 사전 학습된 모델Continuously Pre-trained Models. LR re-warming 및 re-decaying과 replay의 결합 성능을 분석하기 위해 학습 속도만 re-warming 및 re-decaying하는 모델과 두 가지 기술을 모두 결합하는 모델을 하나씩 훈련하기로 결정했습니다. 약한 분포 변화에 대한 (Sec. 6.2)의 결과를 감안하여 두 모델 스케일 모두에 5% replay를 선택합니다. 두 모델 모두 사전 학습의 (\(3\cdot 10^{-4}\)) \(\eta_{max}\)로 re-warming하고 cosine annealing을 사용하여 지속적인 사전 학습이 끝날 때까지 \(\eta_{min}\)에 도달하도록 re-decaying합니다. 자세한 하이퍼파라미터는 부록의 표 13에 보고되어 있습니다.
지속적으로 사전 학습된 모델LR 재가열 및 재감쇠와 리플레이의 결합 성능을 분석하기 위해 학습 속도만 재가열 및 재감쇠하는 모델과 두 가지 기술을 모두 결합하는 모델을 하나씩 훈련하기로 결정했습니다. 약한 분포 변화에 대한 (Sec. 6.2)의 결과를 감안하여 두 모델 스케일 모두에 5% 리플레이를 선택합니다. 두 모델 모두 사전 학습의 (\(3\cdot 10^{-4}\)) \(\eta_{max}\)로 재가열하고 코사인 어닐링을 사용하여 지속적인 사전 학습이 끝날 때까지 \(\eta_{min}\)에 도달하도록 재감쇠합니다. 자세한 하이퍼파라미터는 부록의 표 13에 보고되어 있습니다.