Pre-training establishes the basis of the abilities of LLMs. By pre-training on large-scale corpora, LLMs can acquire essential language understanding and generation skills [55, 56]. In this process, the scale and quality of the pre-training corpus are critical for LLMs to attain powerful capabilities. Furthermore, to effectively pre-train LLMs, model architectures, acceleration methods, and optimization techniques need to be well designed. In what follows, we first discuss the data collection and processing in Section 4.1, then introduce the commonly used model architectures in Section 4.2, and finally present the training techniques to stably and efficiently optimize LLMs in Section 4.3.
사전 학습은 LLM의 능력의 기초를 구축합니다. 대규모 말뭉치에 대해 Pre-training을 수행함으로써 LLM은 필수적인 언어 이해 및 생성 기술을 습득할 수 있습니다[55, 56]. 이 과정에서 Pre-training 말뭉치의 규모와 품질은 LLM이 강력한 기능을 갖추는 데 매우 중요합니다. 또한 LLM을 효과적으로 Pre-train하기 위해서는 모델 아키텍처, 가속 방법 및 최적화 기술을 잘 설계해야 합니다. 다음에서는 먼저 4.1절에서 데이터 수집 및 처리에 대해 설명한 다음, 4.2절에서 일반적으로 사용되는 모델 아키텍처를 소개하고, 마지막으로 4.3절에서 LLM을 안정적이고 효율적으로 최적화하기 위한 훈련 기법을 소개합니다.
사전 학습은 LLM의 능력의 기초를 구축합니다. 대규모 말뭉치에 대해 사전 학습을 수행함으로써 LLM은 필수적인 언어 이해 및 생성 기술을 습득할 수 있습니다[55, 56]. 이 과정에서 사전 학습 말뭉치의 규모와 품질은 LLM이 강력한 기능을 갖추는 데 매우 중요합니다. 또한 LLM을 효과적으로 사전 학습하기 위해서는 모델 아키텍처, 가속 방법 및 최적화 기술을 잘 설계해야 합니다. 다음에서는 먼저 4.1절에서 데이터 수집 및 처리에 대해 설명한 다음, 4.2절에서 일반적으로 사용되는 모델 아키텍처를 소개하고, 마지막으로 4.3절에서 LLM을 안정적이고 효율적으로 최적화하기 위한 훈련 기법을 소개합니다.