believe this is because larger models forget less by default. Indeed, the models trained without replay from a pre-trained Pile checkpoint forget 0.23 and 0.27 nats of Pile perplexity for 10B and 405M respectively. While the difference is small, this suggests that larger models forget less, confirming our hypothesis. When comparing the average final validation loss of the models with 5% replay and baselines trained on the union of both datasets, we notice that there is only a difference of 0.02 for both model sizes. This shows that for weak but realistic distribution shifts at two model scales, continual pre-training can achieve similar performance to the expensive re-training baseline.
더 큰 모델이 기본적으로 덜 잊어버리기 때문이라고 생각합니다. 실제로 사전 학습된 Pile 체크포인트에서 리플레이 없이 학습된 모델은 10B와 405M에 대해 각각 0.23 및 0.27개의 Pile perplexity를 잊어버립니다. 차이는 작지만 더 큰 모델이 덜 잊어버린다는 것을 시사하며, 이는 가설을 확인시켜 줍니다. 두 데이터 세트의 유니온에서 학습된 5% 리플레이 모델과 baseline의 최종 평균 validation loss를 비교하면 두 모델 크기에 대해 0.02의 차이만 있음을 알 수 있습니다. 이는 두 가지 모델 규모에서 약하지만 현실적인 분포 이동에 대해 지속적인 pre-training이 비용이 많이 드는 re-training baseline과 유사한 성능을 달성할 수 있음을 보여줍니다.
더 큰 모델이 기본적으로 덜 잊어버리기 때문이라고 생각합니다. 실제로 사전 학습된 Pile 체크포인트에서 리플레이 없이 학습된 모델은 10B와 405M에 대해 각각 0.23 및 0.27개의 Pile 당혹감을 잊어버립니다. 차이는 작지만 더 큰 모델이 덜 잊어버린다는 것을 시사하며, 이는 가설을 확인시켜 줍니다. 두 데이터 세트의 유니온에서 학습된 5% 리플레이 모델과 베이스라인의 최종 평균 유효성 검사 손실을 비교하면 두 모델 크기에 대해 0.02의 차이만 있음을 알 수 있습니다. 이는 두 가지 모델 규모에서 약하지만 현실적인 분포 이동에 대해 지속적인 사전 학습이 비용이 많이 드는 재학습 기준선과 유사한 성능을 달성할 수 있음을 보여줍니다.