**Learning Rate.** Existing LLMs usually adopt a similar learning rate schedule with the warm-up and decay strategies during pre-training. Specifically, in the initial 0.1% to 0.5% of the training steps, a linear warm-up schedule is employed for gradually increasing the learning rate to the maximum value that ranges from approximately \(5\times 10^{-5}\) to \(1\times 10^{-4}\) (_e.g.,_\(6\times 10^{-5}\) for GPT-3). Then, a cosine decay strategy is adopted in the subsequent steps, gradually reducing the learning rate to approximately 10% of its maximum value, until the convergence of the training loss.
**Learning Rate.** 기존 LLM은 일반적으로 사전 학습 중에 warm-up 및 decay 전략과 유사한 Learning Rate 일정을 채택합니다. 구체적으로, 학습 단계의 처음 0.1%~0.5%에서는 선형 warm-up 스케줄을 사용하여 Learning Rate를 최대값(약 \(5\times 10^{-5}\)~\(1\times 10^{-4}\)(예: GPT-3의 경우 \(6\times 10^{-5}\))까지 점진적으로 증가시킵니다. 그런 다음 cosine decay 전략을 채택하여 학습 손실의 수렴이 이루어질 때까지 이후 단계에서 Learning Rate를 최대값의 약 10%로 점진적으로 감소시킵니다.
**학습 속도.** 기존 LLM은 일반적으로 사전 학습 중에 워밍업 및 디케이 전략과 유사한 학습 속도 일정을 채택합니다. 구체적으로, 학습 단계의 처음 0.1%~0.5%에서는 선형 워밍업 스케줄을 사용하여 학습 속도를 최대값(약 \(5\times 10^{-5}\)~\(1\times 10^{-4}\)(예: GPT-3의 경우 \(6\times 10^{-5}\))까지 점진적으로 증가시킵니다. 그런 다음 코사인 감쇠 전략을 채택하여 학습 손실의 수렴이 이루어질 때까지 이후 단계에서 학습 속도를 최대값의 약 10%로 점진적으로 감소시킵니다.