Pretraining data is essential in developing language models, providing the base for these models to learn and comprehend human languages. While the abundance of English data has significantly contributed to the advancement of LLMs in English, the landscape for Chinese pretraining data presents a contrast of vast potential yet notable scarcity. Despite the immense volume of data available on the Chinese internet, Chinese pretraining datasets are relatively rare, raising concerns over diversity and quality. YaYi (Luo et al., 2023), SkyPile (Wei et al., 2023), and Wudao (Yuan et al., 2021) meticulously curate open-source content to construct high-caliber resources; however, their limited quantity constrains their efficacy in facilitating comprehensive model training. Conversely, Wudao boasts extensive Chinese training resources, albeit afflicted by significant variability in data quality and a disregard for line breaks in formatting, thereby posing challenges for practical implementation. ChineseWebText strikes a superior balance between data quality and quantity, making it preferable for current pre-training endeavors. Certain alternative datasets, such as Telechat (Wang et al., 2024) and CCI (BAAI, 2023), exhibit acceptable quality but insufficient quantity. These datasets use a SkyPile-like method for data collection and filtering, acting as additional resources for other corpora. Furthermore, although COIG series (Zhang et al., 2023; Zheng et al., 2024) is categorized as SFT data, it holds promise for large-scale pre-training applications due to its vast volume. Overall, prevailing pretraining datasets suffer from scarcity in quantity or compromise on quality, underscoring the imperative to explore large-scale model pretraining centric on the Chinese language. Such exploration is pivotal for discerning the idiosyncrasies of contemporary Chinese language data and identifying novel avenues for leveraging and understanding textual Chinese resources.
사전 학습 데이터는 언어 모델을 개발하는 데 필수적이며, 이러한 모델이 인간 언어를 학습하고 이해할 수 있는 기반을 제공합니다. 영어 데이터의 풍부함은 영어 LLM의 발전에 크게 기여했지만, 중국어 사전 학습 데이터의 경우 잠재력은 엄청나지만 상당히 부족한 것과 대조적인 상황입니다. 중국 인터넷에는 사용 가능한 데이터의 양이 엄청나지만, 중국어 사전 학습 데이터 세트는 상대적으로 드물기 때문에 다양성과 품질에 대한 우려가 제기되고 있습니다. YaYi(Luo et al., 2023), SkyPile(Wei et al., 2023), Wudao(Yuan et al., 2021)는 오픈 소스 콘텐츠를 엄선하여 수준 높은 리소스를 구축하고 있지만, 그 양이 제한되어 있어 종합적인 모델 학습을 촉진하는 데 효과가 제한적입니다. 반대로 Wudao는 광범위한 중국어 학습 리소스를 자랑하지만 데이터 품질의 편차가 심하고 서식의 줄 바꿈을 무시하기 때문에 실제 구현에 어려움을 겪고 있습니다. ChineseWebText는 데이터 품질과 양 사이에서 균형을 잘 잡았기 때문에 현재 pre-training에 더 적합합니다. Telechat(Wang et al., 2024) 및 CCI(BAAI, 2023)와 같은 특정 대체 데이터 세트는 수용 가능한 품질을 보여주지만 양이 충분하지 않습니다. 이러한 데이터 세트는 데이터 수집 및 필터링을 위해 SkyPile과 유사한 방법을 사용하며, 다른 코퍼스에 대한 추가 리소스 역할을 합니다. 또한 COIG 시리즈(Zhang et al., 2023; Zheng et al., 2024)는 SFT 데이터로 분류되지만, 그 양이 방대하기 때문에 대규모 pre-training 애플리케이션에 대한 가능성이 있습니다. 전반적으로 기존의 pre-training 데이터 세트는 양이 부족하거나 품질이 저하되는 문제가 있어 중국어를 중심으로 한 대규모 모델 pre-training을 위한 탐색이 필요합니다. 이러한 탐색은 현대 중국어 데이터의 특성을 파악하고 텍스트 중국어 리소스를 활용하고 이해할 수 있는 새로운 방법을 찾는 데 매우 중요합니다.
사전 학습 데이터는 언어 모델을 개발하는 데 필수적이며, 이러한 모델이 인간 언어를 학습하고 이해할 수 있는 기반을 제공합니다. 영어 데이터의 풍부함은 영어 LLM의 발전에 크게 기여했지만, 중국어 사전 학습 데이터의 경우 잠재력은 엄청나지만 상당히 부족한 것과 대조적인 상황입니다. 중국 인터넷에는 사용 가능한 데이터의 양이 엄청나지만, 중국어 사전 학습 데이터 세트는 상대적으로 드물기 때문에 다양성과 품질에 대한 우려가 제기되고 있습니다. YaYi(Luo et al., 2023), SkyPile(Wei et al., 2023), Wudao(Yuan et al., 2021)는 오픈 소스 콘텐츠를 엄선하여 수준 높은 리소스를 구축하고 있지만, 그 양이 제한되어 있어 종합적인 모델 학습을 촉진하는 데 효과가 제한적입니다. 반대로 Wudao는 광범위한 중국어 학습 리소스를 자랑하지만 데이터 품질의 편차가 심하고 서식의 줄 바꿈을 무시하기 때문에 실제 구현에 어려움을 겪고 있습니다. ChineseWebText는 데이터 품질과 양 사이에서 균형을 잘 잡았기 때문에 현재 사전 학습에 더 적합합니다. Telechat(Wang et al., 2024) 및 CCI(BAAI, 2023)와 같은 특정 대체 데이터 세트는 수용 가능한 품질을 보여주지만 양이 충분하지 않습니다. 이러한 데이터 세트는 데이터 수집 및 필터링을 위해 SkyPile과 유사한 방법을 사용하며, 다른 코퍼스에 대한 추가 리소스 역할을 합니다. 또한 COIG 시리즈(Zhang et al., 2023; Zheng et al., 2024)는 SFT 데이터로 분류되지만, 그 양이 방대하기 때문에 대규모 사전 학습 애플리케이션에 대한 가능성이 있습니다. 전반적으로 기존의 사전 학습 데이터 세트는 양이 부족하거나 품질이 저하되는 문제가 있어 중국어를 중심으로 한 대규모 모델 사전 학습을 위한 탐색이 필요합니다. 이러한 탐색은 현대 중국어 데이터의 특성을 파악하고 텍스트 중국어 리소스를 활용하고 이해할 수 있는 새로운 방법을 찾는 데 매우 중요합니다.