We use the AdamW optimizer (Loshchilov and Hutter, 2019) with the hyperparameters shown in Table 4. For all model sizes, we warm up the learning rate over 5000 steps (\(\sim\) 21B tokens) and then decay it linearly from there down to a tenth of the peak learning rate over the remainder of training. After the warm-up period, we clip gradients such that the total \(l^{2}\)-norm of the parameter gradients3 does not exceed \(1.0\). Table 5 gives a comparison of our optimizer settings at the 7B scale to those of other recent LMs that also used AdamW.
표 4에 표시된 하이퍼파라미터와 함께 AdamW Optimizer(Loshchilov and Hutter, 2019)를 사용합니다. 모든 모델 크기에 대해 5000단계(\(\sim\) 21B 토큰)에 걸쳐 Learning Rate를 워밍업한 다음, 학습이 끝날 때까지 최대 Learning Rate의 10분의 1로 선형적으로 감소시킵니다. 워밍업 기간이 지나면 파라미터 그라디언트3의 총 \(l^{2}\)-노름이 1.0을 초과하지 않도록 그라디언트를 클리핑합니다. 표 5는 7B 규모에서 우리의 Optimizer 설정과 AdamW를 사용한 다른 최근 LM의 설정을 비교한 표입니다.
표 4에 표시된 하이퍼파라미터와 함께 AdamW 옵티마이저(Loshchilov and Hutter, 2019)를 사용합니다. 모든 모델 크기에 대해 5000단계(\(\sim\) 21B 토큰)에 걸쳐 학습 속도를 워밍업한 다음, 학습이 끝날 때까지 최대 학습 속도의 10분의 1로 선형적으로 감소시킵니다. 워밍업 기간이 지나면 파라미터 그라디언트3의 총 \(l^{2}\)-노름이 1.0을 초과하지 않도록 그라디언트를 클리핑합니다. 표 5는 7B 규모에서 우리의 최적화 설정과 AdamW를 사용한 다른 최근 LM의 설정을 비교한 표입니다.