Once the model architecture is chosen, the major steps involved in training an LLM includes: data preparation (collection, cleaning, deduping, etc.), tokenization, model pre-training (in a self-supervised learning fashion), instruction tuning, and alignment. We will explain each of them in a separate subsection below. These steps are also illustrated in Fig 25.
모델 아키텍처가 선택되면 LLM 훈련에 포함되는 주요 단계는 데이터 준비(수집, 정리, 중복 제거 등), 토큰화, 모델 사전 훈련(자기 지도 학습 방식), Instruction Tuning, 정렬 등입니다. 이러한 각 단계에 대해서는 아래의 별도의 하위 섹션에서 설명합니다. 이러한 단계는 그림 25에도 설명되어 있습니다.
모델 아키텍처가 선택되면 LLM 훈련에 포함되는 주요 단계는 데이터 준비(수집, 정리, 중복 제거 등), 토큰화, 모델 사전 훈련(자기 지도 학습 방식), 명령어 튜닝, 정렬 등입니다. 이러한 각 단계에 대해서는 아래의 별도의 하위 섹션에서 설명합니다. 이러한 단계는 그림 25에도 설명되어 있습니다.