Compared with small-scale language models, LLMs have a stronger demand for high-quality data for model pre-training, and their model capacities largely rely on the pre-training corpus and how it has been preprocessed. In this part, we discuss the model and processing of pre-training data, including data sources, preprocessing methods, and important analysis of how pre-training data affects the performance of LLMs.
소규모 언어 모델과 비교하여 LLMs은 모델 사전 학습을 위한 고품질 데이터에 대한 요구가 더 강하며, 모델 용량은 사전 학습 corpus와 사전 처리 방법에 따라 크게 달라집니다. 이 부분에서는 데이터 소스, preprocessing 방법, 사전 학습 데이터가 LLMs의 성능에 미치는 영향에 대한 중요한 분석을 포함하여 사전 학습 데이터의 모델 및 처리에 대해 설명합니다.
소규모 언어 모델과 비교하여 LLM은 모델 사전 학습을 위한 고품질 데이터에 대한 요구가 더 강하며, 모델 용량은 사전 학습 코퍼스와 사전 처리 방법에 따라 크게 달라집니다. 이 부분에서는 데이터 소스, 전처리 방법, 사전 학습 데이터가 LLM의 성능에 미치는 영향에 대한 중요한 분석을 포함하여 사전 학습 데이터의 모델 및 처리에 대해 설명합니다.