* **Two datasets, weak shift**: In this variation, we consider \(\mathcal{D}_{0}\) to be the Pile (Gao et al., 2020) and \(\mathcal{D}_{1}\) to be pre-training on SlimPajama (Soboleva et al., 2023). SlimPajama is an extensively deduplicated version of RedPajama (Computer, 2023) which is built based on the LLaMA dataset (Touvron et al., 2023a). We consider this to be a weak but realistic distribution shift as both datasets are English-language, contain common domains(CommonCrawl, GitHub, Arxiv, Wikipedia, and StackExchange) as well as other non-overlapping domains. Additionally, SlimPajama (2023) is a newer dataset than Pile (2020) and is therefore likely to have newer data within the overlapping domains. Therefore, despite the potential overlap, we believe this transition is realistic and is likely to be of interest to many practitioners wishing to update an LLM on a similar distribution to pre-training (e.g., newly collected data of the same sources with higher quality filtering). * **Two datasets, stronger shift**: In this variation, we consider \(\mathcal{D}_{0}\) to be pre-training on the Pile (Gao et al., 2020) and \(\mathcal{D}_{1}\) to be pre-training on German Common Crawl. German Common Crawl is a \(\sim\) 200B token dataset taken from the Oscar dataset (Laippala et al., 2022). We note that this constitutes a stronger shift given the change of language. This setting is of particular interest for practitioners wishing to augment an LLM with a new natural language, programming language, or specific domain that is notably different in vocabulary from pre-training. We note, however, that as the domain strays farther and farther away from the tokenizer's training corpus, the tokenizer may become a key bottleneck to performance. We leave the treatment of the tokenizer to future work.
* **두 개의 데이터 세트, 약한 이동**: 이 변형에서는 \(\mathcal{D}_{0}\)을 Pile(Gao et al., 2020)로, \(\mathcal{D}_{1}\)을 SlimPajama(Soboleva et al., 2023)에 대한 pre-training으로 간주합니다. SlimPajama는 LLaMA 데이터 세트(Touvron et al., 2023a)를 기반으로 구축된 RedPajama(Computer, 2023)의 광범위하게 중복된 버전입니다. 두 데이터 세트 모두 영어이며, 공통 도메인(CommonCrawl, GitHub, Arxiv, Wikipedia, StackExchange)과 다른 중복되지 않는 도메인을 포함하고 있기 때문에 약하지만 현실적인 분포 이동이라고 생각합니다. 또한 SlimPajama(2023)는 Pile(2020)보다 최신 데이터 세트이므로 중복되는 도메인 내에서 더 최신의 데이터를 포함할 가능성이 높습니다. 따라서 잠재적인 중복에도 불구하고 이 전환은 현실적이며 pre-training과 유사한 분포(예: 품질 필터링이 더 높은 동일한 소스의 새로 수집된 데이터)에 LLM을 업데이트하려는 많은 실무자들이 관심을 가질 만한 것으로 생각합니다. * **두 데이터 세트, 강한 이동**: 이 변형에서는 \(\mathcal{D}_{0}\)을 Pile(Gao et al., 2020)에 대한 pre-training으로, \(\mathcal{D}_{1}\)을 German Common Crawl에 대한 pre-training으로 간주합니다. German Common Crawl은 Oscar 데이터 세트(Laippala et al., 2022)에서 가져온 약 200B 토큰 데이터 세트입니다. 언어가 변경되었기 때문에 이 설정은 더 강한 변화를 의미한다는 점에 유의합니다. 이 설정은 pre-training과 어휘가 현저히 다른 새로운 자연어, 프로그래밍 언어 또는 특정 도메인으로 LLM을 보강하려는 실무자에게 특히 관심이 있을 것입니다. 그러나 도메인이 tokenizer의 학습 코퍼스에서 점점 멀어질수록 tokenizer가 성능의 핵심 병목 현상이 될 수 있다는 점에 유의해야 합니다. tokenizer에 대한 처리를 향후 작업으로 남겨두겠습니다.
* **두 개의 데이터 세트, 약한 이동**: 이 변형에서는 \(\mathcal{D}_{0}\)을 Pile(Gao et al., 2020)로, \(\mathcal{D}_{1}\)을 SlimPajama(Soboleva et al., 2023)에 대한 사전 학습으로 간주합니다. SlimPajama는 LLaMA 데이터 세트(Touvron et al., 2023a)를 기반으로 구축된 RedPajama(Computer, 2023)의 광범위하게 중복된 버전입니다. 두 데이터 세트 모두 영어이며, 공통 도메인(CommonCrawl, GitHub, Arxiv, Wikipedia, StackExchange)과 다른 중복되지 않는 도메인을 포함하고 있기 때문에 약하지만 현실적인 분포 이동이라고 생각합니다. 또한 SlimPajama(2023)는 Pile(2020)보다 최신 데이터 세트이므로 중복되는 도메인 내에서 더 최신의 데이터를 포함할 가능성이 높습니다. 따라서 잠재적인 중복에도 불구하고 이 전환은 현실적이며 사전 학습과 유사한 분포(예: 품질 필터링이 더 높은 동일한 소스의 새로 수집된 데이터)에 LLM을 업데이트하려는 많은 실무자들이 관심을 가질 만한 것으로 생각합니다. * **두 데이터 세트, 강한 이동**: 이 변형에서는 \(\mathcal{D}_{0}\)을 Pile(Gao et al., 2020)에 대한 사전 학습으로, \(\mathcal{D}_{1}\)을 German Common Crawl에 대한 사전 학습으로 간주합니다. German Common Crawl은 Oscar 데이터 세트(Laippala et al., 2022)에서 가져온 약 200B 토큰 데이터 세트입니다. 언어가 변경되었기 때문에 이 설정은 더 강한 변화를 의미한다는 점에 유의합니다. 이 설정은 사전 학습과 어휘가 현저히 다른 새로운 자연어, 프로그래밍 언어 또는 특정 도메인으로 LLM을 보강하려는 실무자에게 특히 관심이 있을 것입니다. 그러나 도메인이 토큰화 도구의 학습 코퍼스에서 점점 멀어질수록 토큰화 도구가 성능의 핵심 병목 현상이 될 수 있다는 점에 유의해야 합니다. 토큰화 도구에 대한 처리를 향후 작업으로 남겨두겠습니다.