Figure 3 reports validation losses for the \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) datasets throughout the continual pre-training of all models. The top row of plots reports results for the weak distribution shift (300B Pile\(\rightarrow\)300B SP), while the bottom row reports results for the strong distribution shift (300B Pile\(\rightarrow\)200B Ger.). For both shifts, the \(\eta_{\text{min}}\) constant learning rate model achieves the least forgetting on \(\mathcal{D}_{0}\). It also adapts the least on \(\mathcal{D}_{1}\) for the strong shift, however, for the weak shift it adapts more than the \(\eta_{\text{max}}\) constant baseline. When comparing these baselines to the models that re-warm and re-decay on both datasets, we observe that the latter models adapt better to the new dataset by a significant margin for both distribution shifts. This shows that re-warming and re-decaying are necessary to maximize adaptation to the new dataset when continually pre-training LLMs. Among the models that re-warm and re-decay the LR, we observe that varying the learning rate causes small differences in adaptation and forgetting: higher values of \(\eta_{\text{max}}\) lead to more forgetting and more adaptation while the opposite is true for lower values. When comparing the baselines to the union-trained baseline, we observe that the final validation loss for \(\mathcal{D}_{1}\) is significantly higher than the union-trained model on both distribution shifts. This is also the case for \(\mathcal{D}_{1}\) on the weak distribution shift, but interestingly for the strong distribution shift, the constant baselines achieve lower \(\mathcal{D}_{1}\) validation loss than the union-trained model. We hypothesize that this is due to the stronger distribution shift generally enhancing adaptation and exacerbating forgetting in the context of LLMs. When comparing models continually pre-trained with re-warming and re-decaying to the union baseline, we note that these models adapt better (lower final validation loss) to \(\mathcal{D}_{1}\) than the union baseline. However, these models experience significant forgetting on \(\mathcal{D}_{0}\), showing the need for replay to make these models competitive with the union baseline.
그림 3은 모든 모델의 지속적인 사전 학습 전반에 걸쳐 \(\mathcal{D}_{0}\) 및 \(\mathcal{D}_{1}\) 데이터 세트에 대한 validation losses를 보고합니다. 상단 플롯 행은 약한 분포 이동(300B Pile\(\rightarrow\)300B SP)에 대한 결과를 보고하고, 하단 행은 강한 분포 이동(300B Pile\(\rightarrow\)200B Ger.)에 대한 결과를 보고합니다. 두 시프트 모두에서 \(\eta_{\text{min}}\) 상수 Learning Rate 모델이 \(\mathcal{D}_{0}\)에서 가장 적은 잊어버림을 달성합니다. 또한 강한 시프트의 경우 \(\mathcal{D}_{1}\)에서 가장 적게 적응하지만, 약한 시프트의 경우 \(\eta_{\text{max}}\) 상수 baseline보다 더 많이 적응합니다. 이러한 baseline을 두 데이터 세트에서 다시 워밍 및 재감쇠하는 모델과 비교하면, 후자의 모델이 두 분포 시프트 모두에서 상당한 폭차로 새로운 데이터 세트에 더 잘 적응하는 것을 관찰할 수 있습니다. 이는 LLM을 지속적으로 사전 학습할 때 새로운 데이터 세트에 대한 적응을 극대화하려면 재가열 및 재감쇠가 필요하다는 것을 보여줍니다. LR을 다시 워밍 및 재감쇠하는 모델 중에서 Learning Rate를 변경하면 적응과 잊어버림에 약간의 차이가 발생하는 것을 관찰할 수 있습니다. \(\eta_{\text{max}}\) 값이 높을수록 더 많은 잊어버림과 더 많은 적응을 유도하고, 그 반대의 경우 낮은 값일수록 더 적은 잊어버림과 더 적은 적응을 유도합니다. baseline을 union-trained baseline과 비교하면, 두 분포 시프트 모두에서 \(\mathcal{D}_{1}\)의 최종 validation loss가 union-trained 모델보다 상당히 높다는 것을 알 수 있습니다. 약한 분포 시프트의 경우 \(\mathcal{D}_{1}\)도 마찬가지이지만, 흥미롭게도 강한 분포 시프트의 경우 상수 baseline이 union-trained 모델보다 낮은 \(\mathcal{D}_{1}\) validation loss를 달성합니다. 이는 일반적으로 LLM의 맥락에서 분포 이동이 더 강해지면 적응이 향상되고 잊어버림이 악화되기 때문이라고 가설을 세웁니다. 재가열 및 재감쇠를 통해 지속적으로 사전 학습된 모델을 union baseline과 비교하면, 이러한 모델이 union baseline보다 \(\mathcal{D}_{1}\)에 더 잘 적응(최종 validation loss가 낮음)하는 것을 알 수 있습니다. 그러나 이러한 모델은 \(\mathcal{D}_{0}\)에서 상당한 잊어버림을 경험하므로 이러한 모델을 union baseline과 경쟁력 있게 만들려면 리플레이가 필요하다는 것을 보여줍니다.
그림 3은 모든 모델의 지속적인 사전 학습 전반에 걸쳐 \(\mathcal{D}_{0}\) 및 \(\mathcal{D}_{1}\) 데이터 세트에 대한 유효성 검사 손실을 보고합니다. 상단 플롯 행은 약한 분포 이동(300B Pile\(\rightarrow\)300B SP)에 대한 결과를 보고하고, 하단 행은 강한 분포 이동(300B Pile\(\rightarrow\)200B Ger.)에 대한 결과를 보고합니다. 두 시프트 모두에서 \(\eta_{\text{min}}\) 상수 학습률 모델이 \(\mathcal{D}_{0}\)에서 가장 적은 잊어버림을 달성합니다. 또한 강한 시프트의 경우 \(\mathcal{D}_{1}\)에서 가장 적게 적응하지만, 약한 시프트의 경우 \(\eta_{\text{max}}\) 상수 기준보다 더 많이 적응합니다. 이러한 기준선을 두 데이터 세트에서 다시 워밍 및 재감쇠하는 모델과 비교하면, 후자의 모델이 두 분포 시프트 모두에서 상당한 폭차로 새로운 데이터 세트에 더 잘 적응하는 것을 관찰할 수 있습니다. 이는 LLM을 지속적으로 사전 학습할 때 새로운 데이터 세트에 대한 적응을 극대화하려면 재가열 및 재감쇠가 필요하다는 것을 보여줍니다. LR을 다시 워밍 및 재감쇠하는 모델 중에서 학습 속도를 변경하면 적응과 잊어버림에 약간의 차이가 발생하는 것을 관찰할 수 있습니다. \(\eta_{\text{max}}\) 값이 높을수록 더 많은 잊어버림과 더 많은 적응을 유도하고, 그 반대의 경우 낮은 값일수록 더 적은 잊어버림과 더 적은 적응을 유도합니다. 기준선을 유니온 학습 기준선과 비교하면, 두 분포 시프트 모두에서 \(\mathcal{D}_{1}\)의 최종 유효성 검사 손실이 유니온 학습 모델보다 상당히 높다는 것을 알 수 있습니다. 약한 분포 시프트의 경우 \(\mathcal{D}_{1}\)도 마찬가지이지만, 흥미롭게도 강한 분포 시프트의 경우 상수 기준선이 유니온 학습 모델보다 낮은 \(\mathcal{D}_{1}\) 유효성 검사 손실을 달성합니다. 이는 일반적으로 LLM의 맥락에서 분포 이동이 더 강해지면 적응이 향상되고 잊어버림이 악화되기 때문이라고 가설을 세웁니다. 재가열 및 재감쇠를 통해 지속적으로 사전 학습된 모델을 유니온 베이스라인과 비교하면, 이러한 모델이 유니온 베이스라인보다 \(\mathcal{D}_{1}\)에 더 잘 적응(최종 유효성 검사 손실이 낮음)하는 것을 알 수 있습니다. 그러나 이러한 모델은 \(\mathcal{D}_{0}\)에서 상당한 잊어버림을 경험하므로 이러한 모델을 유니온 베이스라인과 경쟁력 있게 만들려면 리플레이가 필요하다는 것을 보여줍니다.