As seen in Fig. 7, independently of the distribution shift, rewarming the learning rate appears to be a significant cause of the increase in loss seen previously in Fig. 3 when starting to continue to pre-train, as evidenced by the increase in perplexity when re-warming the learning rate while training on the same distribution.
Fig. 7에서 볼 수 있듯이, 학습률을 재가열할 때 동일한 분포로 학습하는 경우 perplexity가 증가하는 것으로 보아 앞서 Fig. 3에서 보았던 분포 이동과는 무관하게 학습률을 재가열하는 것이 지속적으로 사전 학습을 시작할 때 loss 증가의 주요 원인인 것으로 보인다.
Fig. 7에서 볼 수 있듯이, 학습률을 재가열할 때 동일한 분포로 학습하는 경우 어려움도 증가하는 것으로 보아 앞서 Fig. 3에서 보았던 분포 이동과는 무관하게 학습률을 재가열하는 것이 지속적으로 사전 학습을 시작할 때 손실 증가의 주요 원인인 것으로 보인다.