Validation Loss ComparisonThe results in Fig. 4 (top and bottom) show the evolution of the validation loss during continual pre-training on the respective \(\mathcal{D}_{1}\) datasets. Table 2 reports the average final validation loss for each of these models. The final loss is averaged over the last 100 iterations of training sampled at intervals of 10 iterations. We consistently observe across both distribution shifts that even the lowest tested replay of 1% significantly reduces forgetting on Pile compared to the no-replay baselines. This effect is more pronounced in the strong-shift scenario due to the larger amount of forgetting in this setting. We observe little impact on downstream performance for 1%,5%, and 10% replay when compared to the 0% baseline, showing that the forgetting benefits of replay come at little cost in our setting. However, when using an extreme amount of replay (50%), we observe that the model adapts less to \(\mathcal{D}_{0}\). Interestingly, for both datasets, the 50% replay models attain or surpass the final average validation performance of the baseline training on \(\mathcal{D}_{1}\cup\mathcal{D}_{0}\). This is curious as these model have seen 150B and 100B fewer tokens of \(\mathcal{D}_{1}\) than their respective baselines.
유효성 검사 Loss 비교그림 4의 결과(위쪽과 아래쪽)는 각각의 \(\mathcal{D}_{1}\) 데이터 세트에 대한 지속적인 사전 학습 중에 유효성 검사 Loss의 진화를 보여줍니다. 표 2는 이러한 각 모델에 대한 최종 유효성 검사 Loss의 평균을 보고합니다. 최종 Loss는 10회 간격으로 샘플링된 마지막 100회 훈련 반복에 대해 평균화됩니다. 두 분포 이동 모두에서 테스트된 가장 낮은 리플레이인 1%도 리플레이를 하지 않은 baseline보다 Pile에서 잊어버림을 상당히 줄여주는 것을 일관되게 관찰할 수 있습니다. 이 효과는 이 설정에서 더 많은 양의 잊어버림이 발생하기 때문에 강한 시프트 시나리오에서 더 두드러집니다. 0% 기준과 비교할 때 1%, 5%, 10% 리플레이의 경우 다운스트림 성능에 거의 영향을 미치지 않아 리플레이의 잊어버림 이점이 우리 설정에서 거의 대가를 치르지 않음을 알 수 있습니다. 그러나 극단적인 양의 리플레이(50%)를 사용할 경우 모델이 \(\mathcal{D}_{0}\)에 덜 적응하는 것을 관찰할 수 있습니다. 흥미롭게도 두 데이터 세트 모두에서 50% 리플레이 모델은 \(\mathcal{D}_{1}\cup\(\mathcal{D}_{0}\)에 대한 baseline 훈련의 최종 평균 유효성 검사 성능을 달성하거나 초과합니다. 이는 이 모델이 각 기준보다 150B와 100B의 토큰을 더 적게 보았기 때문에 신기한 일입니다.
유효성 검사 손실 비교그림 4의 결과(위쪽과 아래쪽)는 각각의 \(\mathcal{D}_{1}\) 데이터 세트에 대한 지속적인 사전 학습 중에 유효성 검사 손실의 진화를 보여줍니다. 표 2는 이러한 각 모델에 대한 최종 유효성 검사 손실의 평균을 보고합니다. 최종 손실은 10회 간격으로 샘플링된 마지막 100회 훈련 반복에 대해 평균화됩니다. 두 분포 이동 모두에서 테스트된 가장 낮은 리플레이인 1%도 리플레이를 하지 않은 기본선보다 Pile에서 잊어버림을 상당히 줄여주는 것을 일관되게 관찰할 수 있습니다. 이 효과는 이 설정에서 더 많은 양의 잊어버림이 발생하기 때문에 강한 시프트 시나리오에서 더 두드러집니다. 0% 기준과 비교할 때 1%, 5%, 10% 리플레이의 경우 다운스트림 성능에 거의 영향을 미치지 않아 리플레이의 잊어버림 이점이 우리 설정에서 거의 대가를 치르지 않음을 알 수 있습니다. 그러나 극단적인 양의 리플레이(50%)를 사용할 경우 모델이 \(\mathcal{D}_{0}\)에 덜 적응하는 것을 관찰할 수 있습니다. 흥미롭게도 두 데이터 세트 모두에서 50% 리플레이 모델은 \(\mathcal{D}_{1}\cup\mathcal{D}_{0}\)에 대한 기본 훈련의 최종 평균 유효성 검사 성능을 달성하거나 초과합니다. 이는 이 모델이 각 기준보다 150B와 100B의 토큰을 더 적게 보았기 때문에 신기한 일입니다.