In section 6.1, we have seen that continuing to pre-train on new data initially leads to a quick increase of the loss on past data, which motivated the use of replay. The increase of the loss was, in particular, more pronounced for greater \(\eta_{max}\) values. One hypothesis for the increase in loss is that it is mostly due to a distribution shift between the pre-training datasets and associated negative transfer. To assess this hypothesis, we re-warm and re-decay over 300B tokens in a setting with no distribution shift. That is, we follow a similar methodology as in our experiments from Fig. 3 but continue to pre-train on Pile as \(\mathcal{D}_{1}\).
섹션 6.1에서 처음에는 새로운 데이터에 대한 pre-train을 계속하면 과거 데이터에 대한 loss가 빠르게 증가한다는 것을 보았으며, 이는 replay 사용의 동기를 부여했습니다. 특히 loss의 증가는 더 큰 \(\eta_{max}\) 값일수록 더 두드러졌습니다. loss 증가의 한 가지 가설은 주로 pre-training 데이터 세트 간의 분포 이동으로 인한 것으로, 관련 부정적인 전이가 발생한다는 것입니다. 이 가설을 평가하기 위해 분포 이동이 없는 설정에서 300B 토큰 이상으로 다시 워밍업하고 다시 감소시킵니다. 즉, 그림 3의 실험과 유사한 방법론을 따르되, 계속해서 Pile을 \(\mathcal{D}_{1}\)로 pre-train합니다.
섹션 6.1에서 처음에는 새로운 데이터에 대한 사전 학습을 계속하면 과거 데이터에 대한 손실이 빠르게 증가한다는 것을 보았으며, 이는 리플레이 사용의 동기를 부여했습니다. 특히 손실의 증가는 더 큰 \(\eta_{max}\) 값일수록 더 두드러졌습니다. 손실 증가의 한 가지 가설은 주로 사전 학습 데이터 세트 간의 분포 이동으로 인한 것으로, 관련 부정적인 전이가 발생한다는 것입니다. 이 가설을 평가하기 위해 분포 이동이 없는 설정에서 300B 토큰 이상으로 다시 워밍업하고 다시 감소시킵니다. 즉, 그림 3의 실험과 유사한 방법론을 따르되, 계속해서 Pile을 \(\mathcal{D}_{1}\)로 사전 학습합니다.