For datasets, we mainly experiment with the Pile and RedPajama. For the Pile, we find duplicates in the raw data, so deduplication is performed before training with it. The Pile contains 5 coarse-grained domains, which are further decomposed into 22 fine-grained domains. Our experiment in Sec. 3.1 is on Github and Pile-CC domains while the experiment in Sec. 3.2 is on Github, Pile-CC, and the Books. All these are fine-grained domains. For our experiments with 5 domains in Sec. 3.3 we adopt the five coarse-grained domains, i.e., academic, internet, prose, dialogues, and misc, where misc include Github and the DeepMind Mathematics Dataset which are symbolic content. We use the coarse-grained domains because it is hard to find five fine-grained domains with sufficient tokens. For the RedPajama, we download the version produced and shared by Chen et al. (2024a).
데이터 세트의 경우, 주로 Pile과 RedPajama를 실험합니다. Pile의 경우 원시 데이터에서 중복이 발견되므로 deduplication을 수행한 후 학습합니다. Pile에는 5개의 coarse-grained 도메인이 포함되어 있으며, 이는 다시 22개의 fine-grained 도메인으로 분해됩니다. 섹션 3.1의 실험은 Github 및 Pile-CC 도메인에 대한 실험이고, 섹션 3.2의 실험은 Github, Pile-CC 및 Books에 대한 실험입니다. 이들은 모두 fine-grained 도메인입니다. 섹션 3.3의 5개 도메인 실험에서는 academic, internet, prose, dialogues, misc의 5개 coarse-grained 도메인을 채택하는데, 여기서 misc에는 기호적 콘텐츠인 Github과 DeepMind Mathematics Dataset이 포함됩니다. 충분한 토큰을 가진 5개의 fine-grained 도메인을 찾기가 어렵기 때문에 coarse-grained 도메인을 사용합니다. RedPajama의 경우, Chen 등(2024a)이 제작하여 공유한 버전을 다운로드합니다.
데이터 세트의 경우, 주로 Pile과 RedPajama를 실험합니다. Pile의 경우 원시 데이터에서 중복이 발견되므로 중복 제거를 수행한 후 학습합니다. Pile에는 5개의 대분류 도메인이 포함되어 있으며, 이는 다시 22개의 세분류 도메인으로 분해됩니다. 섹션 3.1의 실험은 Github 및 Pile-CC 도메인에 대한 실험이고, 섹션 3.2의 실험은 Github, Pile-CC 및 Books에 대한 실험입니다. 이들은 모두 세분화된 도메인입니다. 섹션 3.3의 5개 도메인 실험에서는 학술, 인터넷, 산문, 대화, 기타의 5개 대분류 도메인을 채택하는데, 여기서 기타에는 기호적 콘텐츠인 Github과 DeepMind 수학 데이터 세트가 포함됩니다. 충분한 토큰을 가진 5개의 세분류 도메인을 찾기가 어렵기 때문에 대분류 도메인을 사용합니다. RedPajama의 경우, Chen 등(2024a)이 제작하여 공유한 버전을 다운로드합니다.