Previous research (Hoffmann et al., 2022) has established that the magnitude of the dataset significantly influences the performance of large language models. Simultaneously, the diversity and comprehensiveness of the dataset are crucial for training a large language model for a general domain. Guided by the aforementioned principles and our emphasis on utilizing Chinese corpora for model training, we have developed a dataset encompassing 1,254.68 billion tokens. This dataset integrates Chinese, English, and code data, consisting of 840.48 billion Chinese tokens, 314.88 billion English tokens, and 99.3 billion code tokens. The dataset aggregates content from diverse sources, such as web documents from Common Crawl, scholarly articles, encyclopedias, and books. The precise distribution is detailed in the Figure.1. Our dataset contains around 110 billion duplicate tokens, mostly in English. Despite being duplicates, they are high quality and were intentionally used twice in training.
이전 연구(Hoffmann et al., 2022)에 따르면 데이터 세트의 규모가 Large Language Models (LLMs)의 성능에 큰 영향을 미치는 것으로 나타났습니다. 동시에 데이터 세트의 다양성과 포괄성은 일반 도메인을 위한 LLM을 훈련하는 데 매우 중요합니다. 앞서 언급한 원칙과 모델 학습에 중국어 말뭉치를 활용하는 데 중점을 두고 1,254.68 billion 개의 tokens으로 구성된 데이터 세트를 개발했습니다. 이 데이터 세트는 중국어, 영어 및 코드 데이터를 통합한 것으로, 840.48 billion 개의 중국어 tokens, 314.88 billion 개의 영어 tokens, 99.3 billion 개의 code tokens으로 구성됩니다. 이 데이터 세트는 Common Crawl의 웹 문서, 학술 논문, 백과사전, 서적 등 다양한 출처의 콘텐츠를 집계합니다. 정확한 분포는 그림 1에 자세히 나와 있습니다. 데이터 세트에는 약 110 billion 개의 중복 tokens이 포함되어 있으며, 대부분 영어로 되어 있습니다. 중복이지만 고품질이며 의도적으로 두 번 학습에 사용되었습니다.
이전 연구(Hoffmann et al., 2022)에 따르면 데이터 세트의 규모가 대규모 언어 모델의 성능에 큰 영향을 미치는 것으로 나타났습니다. 동시에 데이터 세트의 다양성과 포괄성은 일반 도메인을 위한 대규모 언어 모델을 훈련하는 데 매우 중요합니다. 앞서 언급한 원칙과 모델 학습에 중국어 말뭉치를 활용하는 데 중점을 두고 1,2546억 개의 토큰으로 구성된 데이터 세트를 개발했습니다. 이 데이터 세트는 중국어, 영어 및 코드 데이터를 통합한 것으로, 8404억 8000억 개의 중국어 토큰, 3148억 8000억 개의 영어 토큰, 993억 개의 코드 토큰으로 구성됩니다. 이 데이터 세트는 커먼 크롤의 웹 문서, 학술 논문, 백과사전, 서적 등 다양한 출처의 콘텐츠를 집계합니다. 정확한 분포는 그림 1에 자세히 나와 있습니다. 데이터 세트에는 약 1100억 개의 중복 토큰이 포함되어 있으며, 대부분 영어로 되어 있습니다. 중복이지만 고품질이며 의도적으로 두 번 학습에 사용되었습니다.