The source of pre-training corpus can be broadly categorized into two types: general data and specialized data. General data, such as webpages, books, and conversational text, is utilized by most LLMs [55, 56, 90] due to its large, diverse, and accessible nature, which can enhance the language modeling and generalization abilities of LLMs. In light of the impressive generalization capabilities exhibited by LLMs, there are also studies that extend their pre-training corpus to more specialized datasets, such as multilingual data, scientific data, and code, endowing LLMs with specific task-solving capabilities [35, 56, 86]. In what follows, we describe these two types of pre-training data sources and their effects on LLMs. For a detailed introduction to the commonly used corpus, one can refer to Section 3.2.
사전 훈련 코퍼스의 출처는 크게 일반 데이터와 특수 데이터의 두 가지 유형으로 분류될 수 있습니다. 웹페이지, 책, 대화 텍스트와 같은 일반 데이터는 그 규모가 크고 다양하며 접근성이 높아 대부분의 LLMs [55, 56, 90]에서 사용됩니다. 이는 LLMs의 언어 모델링 및 일반화 능력을 향상시킬 수 있습니다. LLMs가 보여주는 놀라운 일반화 능력에 비추어, 다국어 데이터, 과학 데이터, 코드와 같은 더 특수한 데이터셋으로 사전 훈련 코퍼스를 확장하여 LLMs에 특정 작업 해결 능력을 부여하는 연구도 있습니다 [35, 56, 86]. 다음에서는 이러한 두 가지 유형의 사전 훈련 데이터 소스와 그들이 LLMs에 미치는 영향을 설명합니다. 일반적으로 사용되는 코퍼스에 대한 자세한 소개는 섹션 3.2를 참조할 수 있습니다.
사전 학습 코퍼스의 출처는 크게 일반 데이터와 전문 데이터의 두 가지 유형으로 분류할 수 있습니다. 웹페이지, 책, 대화 텍스트와 같은 일반 데이터는 대용량, 다양성, 접근성이 뛰어나기 때문에 대부분의 LLM[55, 56, 90]에서 활용되며, 이는 LLM의 언어 모델링 및 일반화 능력을 향상시킬 수 있습니다. LLM이 보여준 인상적인 일반화 능력에 비추어, 다국어 데이터, 과학 데이터, 코드와 같은 보다 전문화된 데이터 세트로 사전 학습 코퍼스를 확장하여 LLM에 특정 작업 해결 능력을 부여하는 연구도 진행되고 있습니다[35, 56, 86]. 다음에서는 이 두 가지 유형의 사전 학습 데이터 소스와 LLM에 미치는 영향에 대해 설명합니다. 일반적으로 사용되는 말뭉치에 대한 자세한 소개는 섹션 3.2를 참조하세요.