Pre-trainingWe train all our XL models for a total of 300k steps with a batch size of one million tokens, unless otherwise specified. We use a maximum learning rate of \(3e^{-4}\) for the 128M, and 350M parameter models, and \(2e^{-4}\) for the 1.3B parameter model. The minimum learning rate is \(1e^{-5}\). We use a weight decay of 0.01, along with a gradient clipping norm of 1.0. We use cosine learning rate scheduler with a warmup for 1% of the total steps; and the Adam optimizer with \(\beta_{1}=0.9\) and \(\beta_{2}=0.999\).
사전 학습특별히 명시하지 않는 한, 모든 XL 모델을 총 30만 단계 동안 100만 토큰의 Batch Size로 학습합니다. 1억 2,800만 개 및 3억 5,000만 개 파라미터 모델에는 최대 Learning Rate \(3e^{-4}\), 13억 개 파라미터 모델에는 최대 Learning Rate \(2e^{-4}\)를 사용합니다. 최소 Learning Rate는 \(1e^{-5}\)입니다. 가중치 감쇠는 0.01을 사용하며, Gradient Clipping 규범은 1.0을 사용합니다. 전체 단계의 1%에 대해 워밍업과 함께 코사인 Learning Rate 스케줄러를 사용하며, \(\beta_{1}=0.9\) 및 \(\beta_{2}=0.999\)의 Adam Optimizer를 사용합니다.
사전 학습특별히 명시하지 않는 한, 모든 XL 모델을 총 30만 단계 동안 100만 토큰의 배치 크기로 학습합니다. 1억 2,800만 개 및 3억 5,000만 개 파라미터 모델에는 최대 학습률 \(3e^{-4}\), 13억 개 파라미터 모델에는 최대 학습률 \(2e^{-4}\)를 사용합니다. 최소 학습률은 \(1e^{-5}\)입니다. 가중치 감쇠는 0.01을 사용하며, 그라디언트 클리핑 규범은 1.0을 사용합니다. 전체 단계의 1%에 대해 워밍업과 함께 코사인 학습률 스케줄러를 사용하며, \(\beta_{1}=0.9\) 및 \(\beta_{2}=0.999\)의 Adam 옵티마이저를 사용합니다.