**Data Mixture.** Since each kind of data source is closely related to the development of certain capacities for LLMs (referring to the discussions in Section 4.1), it is important to set a suitable distribution to mix these data. The data mixture is generally set in a global level (_i.e.,_ the distribution of the entire pre-training data), and can be also locally set to varied proportions at different training stages. During pre-training, data samples from different sources would be selected according to the mixture proportions: more data will be sampled from a data source with a larger weight. Typically, existing LLMs such as LLaMA [57] may employ upsampling or downsampling on the full data of each source to create specific data mixtures as pre-training data. As Figure 6 illustrates, existing LLMs use different data mixtures to construct the pre-training data. As a representative model, the pre-training data of LLaMA [57] mainly consists of webpages (over 80%), alongside 6.5% of code-heavy data from GitHub and StackExchange, 4.5% from books, and 2.5% of scientific data sourced from arXiv, which has become an important reference for training general-purpose LLMs. Furthermore, special data mixtures can be used to facilitate different purposes. For example, Falcon [141] is trained on pure webpages, and CodeGen [86] largely increases the amount of code data.
**Data Mixture**. 각 데이터 소스의 종류는 LLM의 특정 용량 개발과 밀접한 관련이 있으므로(4.1절의 논의 참조), 이러한 데이터를 혼합하기 위한 적절한 분포를 설정하는 것이 중요합니다. 데이터 mixture는 일반적으로 전역 수준(_즉, 전체 pre-training 데이터의 분포)으로 설정되며, 다양한 훈련 단계에서 다양한 비율로 로컬로 설정할 수도 있습니다. pre-training 중에 데이터 샘플은 mixture 비율에 따라 다른 소스에서 선택되며, 가중치가 큰 데이터 소스에서 더 많은 데이터가 샘플링됩니다. 일반적으로 LLaMA [57]와 같은 기존 LLM은 각 소스의 전체 데이터에 대해 upsampling 또는 downsampling을 사용하여 pre-training 데이터로 특정 데이터 mixture를 생성할 수 있습니다. 그림 6에서 볼 수 있듯이 기존 LLM은 다양한 데이터 mixture를 사용하여 pre-training 데이터를 구성합니다. 대표적인 모델로서, LLaMA [57]의 pre-training 데이터는 주로 웹 페이지(80% 이상)로 구성되며, GitHub와 StackExchange의 코드가 많은 데이터 6.5%, 도서 4.5%, arXiv에서 가져온 과학 데이터 2.5% 등이 포함되어 있으며, 이는 범용 LLM을 훈련하는 데 중요한 참고 자료가 되었습니다. 또한, 특수한 데이터 mixture를 사용하여 다양한 목적을 용이하게 할 수 있습니다. 예를 들어, Falcon [141]은 순수한 웹 페이지에 대해 학습되며, CodeGen [86]은 코드 데이터의 양을 크게 늘립니다.
**데이터 혼합**. 각 데이터 소스의 종류는 LLM의 특정 용량 개발과 밀접한 관련이 있으므로(4.1절의 논의 참조), 이러한 데이터를 혼합하기 위한 적절한 분포를 설정하는 것이 중요합니다. 데이터 혼합은 일반적으로 전역 수준(_즉, 전체 사전 학습 데이터의 분포)으로 설정되며, 다양한 훈련 단계에서 다양한 비율로 로컬로 설정할 수도 있습니다. 사전 학습 중에 데이터 샘플은 혼합 비율에 따라 다른 소스에서 선택되며, 가중치가 큰 데이터 소스에서 더 많은 데이터가 샘플링됩니다. 일반적으로 LLaMA [57]와 같은 기존 LLM은 각 소스의 전체 데이터에 대해 업샘플링 또는 다운샘플링을 사용하여 사전 학습 데이터로 특정 데이터 혼합을 생성할 수 있습니다. 그림 6에서 볼 수 있듯이 기존 LLM은 다양한 데이터 혼합을 사용하여 사전 학습 데이터를 구성합니다. 대표적인 모델로서, LLaMA [57]의 사전 학습 데이터는 주로 웹 페이지(80% 이상)로 구성되며, GitHub와 StackExchange의 코드가 많은 데이터 6.5%, 도서 4.5%, arXiv에서 가져온 과학 데이터 2.5% 등이 포함되어 있으며, 이는 범용 LLM을 훈련하는 데 중요한 참고 자료가 되었습니다. 또한, 특수한 데이터 혼합을 사용하여 다양한 목적을 용이하게 할 수 있습니다. 예를 들어, Falcon [141]은 순수한 웹 페이지에 대해 학습되며, CodeGen [86]은 코드 데이터의 양을 크게 늘립니다.