While creating our tokenizer and model training datasets, we ensure that the mixture proportions of data domains (Wikipedia, books, web text) follow the same distribution to avoid a domain shift between tokenizers training and model training. We created _two datasets_ with 70B words where one of the datasets is monolingual, containing English documents, and the second is a multilingual dataset comprised of English, German, French, Italian, and Spanish documents. Our datasets are filtered and deduplicated and consist of web-crawled data (80%) and curated data (20%), comparable to related datasets used to train LLMs. In the multilingual dataset, the amount of web-crawled data is equally distributed across languages in terms of number of words. Further details about our data pipeline and the data composition are described in Appendix A.
토큰화 도구와 모델 학습 데이터 세트를 만들면서 데이터 도메인(Wikipedia, books, web text)의 혼합 비율이 토큰화 도구 학습과 모델 학습 간에 도메인 이동을 피하기 위해 동일한 분포를 따르도록 합니다. 700억 단어로 구성된 _두 개의 데이터 세트_를 만들었는데, 그 중 하나는 영어 문서로 구성된 단일 언어 데이터 세트이고, 두 번째는 영어, 독일어, 프랑스어, 이탈리아어, 스페인어 문서로 구성된 다국어 데이터 세트입니다. 저희 데이터 세트는 필터링 및 중복 제거를 거쳤으며, LLM을 학습시키는 데 사용되는 관련 데이터 세트와 유사하게 웹 크롤링 데이터(80%)와 큐레이션된 데이터(20%)로 구성됩니다. 다국어 데이터 세트에서는 웹 크롤링 데이터의 양이 언어별로 단어 수 기준으로 균등하게 분포되어 있습니다. 데이터 파이프라인과 데이터 구성에 대한 자세한 내용은 부록 A에 설명되어 있습니다.
토큰화 도구와 모델 학습 데이터 세트를 만들면서 데이터 도메인(위키피디아, 서적, 웹 텍스트)의 혼합 비율이 토큰화 도구 학습과 모델 학습 간에 도메인 이동을 피하기 위해 동일한 분포를 따르도록 합니다. 700억 단어로 구성된 _두 개의 데이터 세트_를 만들었는데, 그 중 하나는 영어 문서로 구성된 단일 언어 데이터 세트이고, 두 번째는 영어, 독일어, 프랑스어, 이탈리아어, 스페인어 문서로 구성된 다국어 데이터 세트입니다. 저희 데이터 세트는 필터링 및 중복 제거를 거쳤으며, LLM을 학습시키는 데 사용되는 관련 데이터 세트와 유사하게 웹 크롤링 데이터(80%)와 큐레이션된 데이터(20%)로 구성됩니다. 다국어 데이터 세트에서는 웹 크롤링 데이터의 양이 언어별로 단어 수 기준으로 균등하게 분포되어 있습니다. 데이터 파이프라인과 데이터 구성에 대한 자세한 내용은 부록 A에 설명되어 있습니다.