the learning rate using a cosine learning rate schedule set to reach its minimal value (\(\eta_{min}=0.1\cdot\eta_{max}\)) at 300B and 200B tokens, respectively. We consider warming up the learning rate for 0.5%, 1%, and 2% of \(\mathcal{D}_{1}\)'s total training iterations (132366 and 86000 iterations, respectively). Since the decay happens over the remaining budget of iterations (so resp. \(99.5\%,99\%\) and \(98\%\) of the total iterations), note that this implies that the decay phase of longer warmups happens marginally faster. Additionally, we train a model with no linear warm-up (0%) that immediately decays the LR from \(\eta_{max}\). All experiments are conducted on a 405M parameter model.
코사인 Learning Rate 스케줄을 사용하여 Learning Rate를 설정하여 각각 300B 및 200B 토큰에서 최소값(\(\eta_{min}=0.1\cdot\eta_{max}\))에 도달하도록 설정합니다. 우리는 \(\mathcal{D}_{1}\)의 총 훈련 반복 횟수의 0.5%, 1%, 2%(각각 132366회 및 86000회)에 대해 Learning Rate를 워밍업하는 것을 고려합니다. 감소는 남은 예산의 반복 횟수에 걸쳐 발생하므로(따라서 총 반복 횟수의 각각 \(99.5\%,99\%\), \(98\%\)), 워밍업이 더 길수록 감소 단계가 약간 더 빨리 발생한다는 점에 유의하세요. 또한, 우리는 \(\eta_{max}\)에서 즉시 Learning Rate를 감소시키는 선형 워밍업(0%)이 없는 모델을 훈련합니다. 모든 실험은 405M 파라미터 모델에서 수행됩니다.
코사인 학습률 스케줄을 사용하여 학습률을 설정하여 각각 300B 및 200B 토큰에서 최소값(\(\eta_{min}=0.1\cdot\eta_{max}\))에 도달하도록 설정합니다. 우리는 \(\mathcal{D}_{1}\)의 총 훈련 반복 횟수의 0.5%, 1%, 2%(각각 132366회 및 86000회)에 대해 학습률을 워밍업하는 것을 고려합니다. 감소는 남은 예산의 반복 횟수에 걸쳐 발생하므로(따라서 총 반복 횟수의 각각 \(99.5\%,99\%\), \(98\%\)), 워밍업이 더 길수록 감소 단계가 약간 더 빨리 발생한다는 점에 유의하세요. 또한, 우리는 \(\eta_{max}\)에서 즉시 LR을 감소시키는 선형 워밍업(0%)이 없는 모델을 훈련합니다. 모든 실험은 405M 파라미터 모델에서 수행됩니다.