We use three datasets for training and validation: SlimPajama (Soboleva et al., 2023), German CommonCrawl (Laippala et al., 2022), and Pile (Gao et al., 2020). For all datasets, use the same tokenizer as Black et al. (2022) trained specifically on the Pile. To create our training set for SlimPajama, we randomly sub-sample the dataset (606B Total Tokens) to form a \(\sim\)299B token subset (see Table 1) that is of comparable size to Pile. We also further sub-sample this SlimPajama subset to create three \(\sim 100\)B token splits of the dataset (see Sec. 7.4 for details). To create the SlimPajama validation set we simply tokenize the default validation set that has been extensively deduplicated (Soboleva et al., 2023). To create the German training and validaiton sets, we split and tokenized the German Common Crawl scrape, available as part of the Oscar Dataset (Laippala et al., 2022), into a 195.43B token training set and a 982.6M token validation set. The pile dataset comes pre-shuffled and mixed, we simply used the default training and validation sets. The training set is \(\sim 330\)B tokens total, though in our experiments we only train on a 300B token subset.
학습 및 검증에는 SlimPajama(Soboleva et al., 2023), German CommonCrawl(Laippala et al., 2022), Pile(Gao et al., 2020)의 세 가지 데이터 세트를 사용합니다. 모든 데이터 세트에 대해 Pile에서 특별히 학습된 Black et al.(2022)과 동일한 tokenizer를 사용합니다. SlimPajama의 훈련 세트를 생성하기 위해 데이터 세트(총 토큰 606B)를 무작위로 하위 샘플링하여 Pile과 비슷한 크기인 \(\sim\)299B token 하위 집합을 형성합니다(표 1 참조). 또한 이 SlimPajama 하위 집합을 추가로 하위 샘플링하여 데이터 집합의 3개의 \(\sim 100\)B token 분할을 생성합니다(자세한 내용은 섹션 7.4 참조). SlimPajama validation 집합을 생성하기 위해 광범위하게 중복 제거된 기본 validation 집합을 token화하기만 하면 됩니다(Soboleva et al., 2023). 독일어 훈련 및 validation 집합을 생성하기 위해 Oscar 데이터 세트(Laippala et al., 2022)의 일부로 제공되는 독일어 Common Crawl scrape을 195.43B token 훈련 세트와 982.6M token validation 세트로 분할하고 token화했습니다. Pile 데이터 세트는 미리 섞여 있고 혼합되어 있으므로 기본 훈련 및 validation 세트를 사용했습니다. 훈련 세트는 총 \(\sim 330\)B token이지만, 실험에서는 300B token 하위 집합만 훈련합니다.
학습 및 검증에는 SlimPajama(Soboleva et al., 2023), German CommonCrawl(Laippala et al., 2022), Pile(Gao et al., 2020)의 세 가지 데이터 세트를 사용합니다. 모든 데이터 세트에 대해 Pile에서 특별히 학습된 Black et al.(2022)과 동일한 토큰화기를 사용합니다. SlimPajama의 훈련 세트를 생성하기 위해 데이터 세트(총 토큰 606B)를 무작위로 하위 샘플링하여 Pile과 비슷한 크기인 \(sim\)299B 토큰 하위 집합을 형성합니다(표 1 참조). 또한 이 SlimPajama 하위 집합을 추가로 하위 샘플링하여 데이터 집합의 3개의 \(sim 100\)B 토큰 분할을 생성합니다(자세한 내용은 섹션 7.4 참조). SlimPajama 유효성 검사 집합을 생성하기 위해 광범위하게 중복 제거된 기본 유효성 검사 집합을 토큰화하기만 하면 됩니다(Soboleva et al., 2023). 독일어 훈련 및 유효성 검사 집합을 생성하기 위해 Oscar 데이터 세트(Laippala et al., 2022)의 일부로 제공되는 독일어 커먼 크롤링 스크랩을 195.43B 토큰 훈련 세트와 982.6M 토큰 유효성 검사 세트로 분할하고 토큰화했습니다. 더미 데이터 세트는 미리 섞여 있고 혼합되어 있으므로 기본 훈련 및 유효성 검사 세트를 사용했습니다. 훈련 세트는 총 \(\sim 330\)B 토큰이지만, 실험에서는 300B 토큰 하위 집합만 훈련합니다.