Figure 3: **The effect of re-warming and re-decaying the learning rate on adaptation and forgetting. We consider two constant baselines and three models that re-warm and re-decay. One baseline continues training from \(\eta_{min}\) of pre-training (\(3\cdot 10^{-4}\)) while the other warms up to \(\eta_{max}\) from pre-training (\(3\cdot 10^{-4}\)). For the models that re-warm and re-decay we vary \(\eta_{max}\in\{1.5\cdot 10^{-4},3\cdot 10^{-4},6\cdot 10^{-4}\}\). All models except the \(\eta_{min}\) baseline use linear warmup for 1% training iteration. The non-baseline models cosine decay the learning to reach \(0.1\cdot\eta_{max}\) by the end of training. We observe that re-warming and re-decaying the learning rate is needed to best adapt to the new dataset. Small increases or decreases in \(\eta_{max}\) allow to trade-off between more or less adaptation.
그림 3: **Learning Rate를 다시 데우고 다시 희석하는 것이 적응과 잊어버림에 미치는 영향. 두 개의 상수 기준선과 다시 데우고 다시 희석하는 세 가지 모델을 고려합니다. 한 기준선은 사전 학습의 \(\eta_{min}\)(3\cdot 10^{-4})에서 계속 학습하는 반면, 다른 기준선은 사전 학습의 \(\eta_{max}\)(3\cdot 10^{-4})까지 학습합니다. 다시 데우고 다시 희석하는 모델의 경우 \(\eta_{max}\in\{1.5\cdot 10^{-4},3\cdot 10^{-4},6\cdot 10^{-4}\}\). \(\eta_{min}\) 기준선을 제외한 모든 모델은 1% 훈련 반복에 대해 선형 워밍업을 사용합니다. 기준선이 아닌 모델은 Learning Rate를 코사인 감소시켜 훈련이 끝날 때까지 \(0.1\cdot\eta_{max}\)에 도달합니다. Learning Rate를 다시 데우고 다시 희석하는 것이 새로운 데이터 세트에 가장 잘 적응하는 데 필요하다는 것을 관찰할 수 있습니다. \(\eta_{max}\)를 조금씩 증가시키거나 감소시킴으로써 더 많이 또는 덜 적응하는 것 사이에서 절충할 수 있습니다.
그림 3: **학습 속도를 다시 데우고 다시 희석하는 것이 적응과 잊어버림에 미치는 영향. 두 개의 상수 기준선과 다시 데우고 다시 희석하는 세 가지 모델을 고려합니다. 한 기준선은 사전 학습의 \(\eta_{min}\)(3\cdot 10^{-4})에서 계속 학습하는 반면, 다른 기준선은 사전 학습의 \(\eta_{max}\)(3\cdot 10^{-4})까지 학습합니다. 다시 데우고 다시 희석하는 모델의 경우 \(\eta_{max}\in\{1.5\cdot 10^{-4},3\cdot 10^{-4},6\cdot 10^{-4}\}\). \eta_{min}\ 기준선을 제외한 모든 모델은 1% 훈련 반복에 대해 선형 워밍업을 사용합니다. 기준선이 아닌 모델은 학습 속도를 코사인 감소시켜 훈련이 끝날 때까지 \(0.1\cdot\eta_{max}\)에 도달합니다. 학습 속도를 다시 데우고 다시 희석하는 것이 새로운 데이터 세트에 가장 잘 적응하는 데 필요하다는 것을 관찰할 수 있습니다. \eta_{max}\)를 조금씩 증가시키거나 감소시킴으로써 더 많이 또는 덜 적응하는 것 사이에서 절충할 수 있습니다.