Given the need to mitigate forgetting when re-warming and re-decaying, we move on to investigate the effects of replay in our weak and strong-shift continued pre-training scenarios. Specifically, we use compete equivalent replay (see Sec. 4.2 for details) where replay tokens from \(\mathcal{D}_{0}\) are added at the cost of removing the equivalent number of \(\mathcal{D}_{1}\) tokens from the budget. Following the same two dataset settings, the model is pre-trained on \(\mathcal{D}_{0}\) (Pile) for 300B tokens. This is followed by continual pre-training on a SlimPajama (weak shift) or German Common Crawl (strong shift). For more details regarding the setup, please see Section 5.2. Our continued pre-training is conducted for the full size of the respective datasets, which is 300B tokens for SlimPajama (weak shift) and 200B tokens for German Common Crawl (strong shift). We consider 1%, 5%, 10%, and 50% replay for both shifts and add 0.5% and 25% replay runs for the weak and strong distribution shifts respectively. We consider two baselines to put these results into a broader context. The first baseline is a model trained on \(\mathcal{D}_{1}\) without replay. The second baseline model is trained from random initialization on a union of \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) for 600B tokens (SlimPajama) and 500B tokens (German Common Crawl). The latter baseline reflects the practice of fully re-training the model to update it instead of continually pre-training the existing model. All models re-warm and re-decay the learning rate using a cosine decay schedule fit to their token budget with the same \(\eta_{\textit{max}}\) (\(3\cdot 10^{-4}\)) and \(\eta_{\textit{min}}\) (\(3\cdot 10^{-5}\)) values as during pre-training on \(\mathcal{D}_{0}\).
재가열 및 재감쇠 시 잊어버림을 완화해야 할 필요성이 제기됨에 따라, 우리는 약한 shift 및 강한 shift 지속 사전 학습 시나리오에서 replay의 효과를 조사합니다. 특히, \(\mathcal{D}_{0}\)의 replay 토큰이 예산에서 동일한 수의 \(\mathcal{D}_{1}\) 토큰을 제거하는 대가로 추가되는 동등한 replay(세부 사항은 섹션 4.2 참조)를 사용합니다. 동일한 두 데이터 세트 설정에서 모델은 300B 토큰에 대해 \(\mathcal{D}_{0}\)(파일)에 대해 사전 학습됩니다. 그 다음에는 SlimPajama(약한 shift) 또는 German Common Crawl(강한 shift)에 대한 지속적인 사전 학습이 이어집니다. 설정에 대한 자세한 내용은 섹션 5.2를 참조하세요. 지속적인 사전 학습은 각 데이터 세트의 전체 크기, 즉 SlimPajama(약한 shift)의 경우 300B 토큰, German Common Crawl(강한 shift)의 경우 200B 토큰에 대해 수행됩니다. 두 shift 모두에 대해 1%, 5%, 10%, 50%의 replay를 고려하고 약한 분포 shift와 강한 분포 shift에 대해 각각 0.5%와 25%의 replay를 추가합니다. 이러한 결과를 보다 넓은 맥락에 넣기 위해 두 가지 baseline을 고려합니다. 첫 번째 baseline은 replay 없이 \(\mathcal{D}_{1}\)에서 학습한 모델입니다. 두 번째 baseline 모델은 \(\mathcal{D}_{0}\)와 \(\mathcal{D}_{1}\)의 조합에서 무작위 초기화부터 600B 토큰(SlimPajama) 및 500B 토큰(German Common Crawl)에 대해 학습합니다. 후자의 baseline은 기존 모델을 지속적으로 사전 학습하는 대신 모델을 업데이트하기 위해 모델을 완전히 재학습하는 관행을 반영합니다. 모든 모델은 \(\mathcal{D}_{0}\)에 대한 사전 학습 중과 동일한 \(\eta_{\textit{max}}\)(3\cdot 10^{-4}) 및 \(\eta_{\textit{min}}\)(3\cdot 10^{-5}) 값으로 cosine decay 일정을 사용하여 Learning Rate를 재가열하고 재감쇠합니다.
재가열 및 재감쇠 시 잊어버림을 완화해야 할 필요성이 제기됨에 따라, 우리는 약한 시프트 및 강한 시프트 지속 사전 학습 시나리오에서 리플레이의 효과를 조사합니다. 특히, \(\mathcal{D}_{0}\)의 리플레이 토큰이 예산에서 동일한 수의 \(\mathcal{D}_{1}\) 토큰을 제거하는 대가로 추가되는 동등한 리플레이(세부 사항은 섹션 4.2 참조)를 사용합니다. 동일한 두 데이터 세트 설정에서 모델은 300B 토큰에 대해 \(\mathcal{D}_{0}\)(파일)에 대해 사전 학습됩니다. 그 다음에는 슬림파자마(약한 시프트) 또는 독일 커먼 크롤(강한 시프트)에 대한 지속적인 사전 학습이 이어집니다. 설정에 대한 자세한 내용은 섹션 5.2를 참조하세요. 지속적인 사전 학습은 각 데이터 세트의 전체 크기, 즉 슬림파자마(약한 시프트)의 경우 300B 토큰, 독일 커먼 크롤(강한 시프트)의 경우 200B 토큰에 대해 수행됩니다. 두 시프트 모두에 대해 1%, 5%, 10%, 50%의 리플레이를 고려하고 약한 분포 시프트와 강한 분포 시프트에 대해 각각 0.5%와 25%의 리플레이를 추가합니다. 이러한 결과를 보다 넓은 맥락에 넣기 위해 두 가지 베이스라인을 고려합니다. 첫 번째 베이스라인은 리플레이 없이 \(\mathcal{D}_{1}\)에서 학습한 모델입니다. 두 번째 베이스라인 모델은 \(\mathcal{D}_{0}\)와 \(\mathcal{D}_{1}\)의 조합에서 무작위 초기화부터 600B 토큰(SlimPajama) 및 500B 토큰(German Common Crawl)에 대해 학습합니다. 후자의 베이스라인은 기존 모델을 지속적으로 사전 학습하는 대신 모델을 업데이트하기 위해 모델을 완전히 재학습하는 관행을 반영합니다. 모든 모델은 \(\mathcal{D}_{0}\)에 대한 사전 학습 중과 동일한 \(\eta_{\textit{max}}\)(3\cdot 10^{-4}) 및 \(\eta_{\textit{min}}\)(3\cdot 10^{-5}) 값으로 코사인 감쇠 일정을 사용하여 학습 속도를 재가열하고 재감쇠합니다.