In summary, we find that, when re-warming and re-decaying the LR in a continual pre-training context, replay is a useful tool for reducing forgetting. For both distribution shifts, using an appropriate amount of replay yields similar final validation loss to the \(\mathcal{D}_{1}\cup\mathcal{D}_{0}\) baseline. Moreover, for both shifts, the use of replay seems to negligibly affect adaptation to the downstream dataset, showing that reducing forgetting via replay comes at very little cost when continually pre-training LLMs.
요약하면, 지속적인 사전 학습 컨텍스트에서 Learning Rate를 재가열하고 재붕괴할 때 replay는 잊어버림을 줄이는 데 유용한 도구라는 것을 알 수 있습니다. 두 분포 이동 모두에 대해 적절한 양의 replay를 사용하면 \(\mathcal{D}_{1}\cup\mathcal{D}_{0}\) 기준선과 유사한 최종 validation loss를 얻을 수 있습니다. 또한 두 시프트 모두에서 replay를 사용하면 다운스트림 데이터 세트에 대한 적응에 무시할 수 있는 영향을 미치며, 이는 replay를 통해 잊어버림을 줄이는 것이 지속적으로 LLM을 사전 학습할 때 거의 비용이 들지 않는다는 것을 보여줍니다.
요약하면, 지속적인 사전 학습 컨텍스트에서 LR을 재가열하고 재붕괴할 때 리플레이는 잊어버림을 줄이는 데 유용한 도구라는 것을 알 수 있습니다. 두 분포 이동 모두에 대해 적절한 양의 리플레이를 사용하면 \(\mathcal{D}_{1}\cup\mathcal{D}_{0}\) 기준선과 유사한 최종 유효성 검사 손실을 얻을 수 있습니다. 또한 두 시프트 모두에서 리플레이를 사용하면 다운스트림 데이터 세트에 대한 적응에 무시할 수 있는 영향을 미치며, 이는 리플레이를 통해 잊어버림을 줄이는 것이 지속적으로 LLM을 사전 학습할 때 거의 비용이 들지 않는다는 것을 보여줍니다.