* **Three datasets, no shift** : We consider an \(N=3\) setting, where \(\mathcal{D}_{0},\mathcal{D}_{1},\mathcal{D}_{2}\) are each district 100B token splits of SlimPajama. This setting is primarily used to evaluate the ability of our techniques to scale to many future updates and to assess the performance of our proposed infinite learning rate schedules. * **Domain incremental continual pre-training**: This setting considers consuming the tokens of SlimPajama sequentially ordered by domain. That is, we train on a sequence of \(N\) future datasets \(\{\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\}\) each of is a distinct domain of SlimPajama 300B. We note that this is similar to DACPT (Ke et al., 2022), however, we consider much larger datasets for each domain. This setting is particularly challenging due to the distribution shift experience at the transition between each domain. While it is certainly interesting, we believe it is unnecessarily difficult compare to mixing the SlimPajama data before training on it. The poor results in this setting (Sec. A.1 of the appendix) suggest that general-purpose LLMs should be continually pre-trained on a mixture of domains if possible, not updated per domain.
* **세 가지 데이터 세트, 전환 없음**: N=3 설정을 고려하며, 여기서 \(\mathcal{D}_{0},\mathcal{D}_{1},\mathcal{D}_{2}\)는 각각 SlimPajama의 100B token 분할입니다. 이 설정은 주로 많은 미래 업데이트로 확장할 수 있는 기술의 능력을 평가하고 제안된 무한 Learning Rate 일정의 성능을 평가하는 데 사용됩니다. * **도메인 증분 연속 사전 학습**: 이 설정에서는 도메인별로 순차적으로 정렬된 SlimPajama의 token을 소비하는 것을 고려합니다. 즉, 각각 SlimPajama 300B의 고유한 도메인인 \(N\) 미래 데이터 세트 \(\{\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\}\)의 시퀀스에 대해 학습합니다. 이는 DACPT(Ke et al., 2022)와 유사하지만, 각 도메인에 대해 훨씬 더 큰 데이터 세트를 고려한다는 점에 유의할 필요가 있습니다. 이 설정은 각 도메인 간의 전환 시 분포 이동 경험으로 인해 특히 어렵습니다. 이 설정은 분명 흥미롭지만, SlimPajama 데이터를 훈련하기 전에 혼합하는 것에 비해 불필요하게 어렵다고 생각합니다. 이 설정의 열악한 결과(부록의 A.1절)는 범용 LLM이 가능한 경우 도메인별로 업데이트하는 것이 아니라 여러 도메인을 혼합하여 지속적으로 사전 학습해야 한다는 것을 시사합니다.
* **세 가지 데이터 세트, 전환 없음**: N=3$ 설정을 고려하며, 여기서 \(\mathcal{D}_{0},\mathcal{D}_{1},\mathcal{D}_{2}\)는 각각 SlimPajama의 100B 토큰 분할입니다. 이 설정은 주로 많은 미래 업데이트로 확장할 수 있는 기술의 능력을 평가하고 제안된 무한 학습 속도 일정의 성능을 평가하는 데 사용됩니다. * **도메인 증분 연속 사전 학습**: 이 설정에서는 도메인별로 순차적으로 정렬된 SlimPajama의 토큰을 소비하는 것을 고려합니다. 즉, 각각 SlimPajama 300B의 고유한 도메인인 \(N\) 미래 데이터 세트 \(\{\mathcal{D}_{0},\mathcal{D}_{1},\ldots,\mathcal{D}_{N-1}\}\)의 시퀀스에 대해 학습합니다. 이는 DACPT(Ke et al., 2022)와 유사하지만, 각 도메인에 대해 훨씬 더 큰 데이터 세트를 고려한다는 점에 유의할 필요가 있습니다. 이 설정은 각 도메인 간의 전환 시 분포 이동 경험으로 인해 특히 어렵습니다. 이 설정은 분명 흥미롭지만, SlimPajama 데이터를 훈련하기 전에 혼합하는 것에 비해 불필요하게 어렵다고 생각합니다. 이 설정의 열악한 결과(부록의 A.1절)는 범용 LLM이 가능한 경우 도메인별로 업데이트하는 것이 아니라 여러 도메인을 혼합하여 지속적으로 사전 학습해야 한다는 것을 시사합니다.