Training parameters.We employ the AdamW optimizer with a cosine learning rate scheduler. This includes \(1\)K steps of warmup, followed by a cosine decay of the learning rate from \(1\) to \(0.1\) times the reference rate. We use mixed-precision fp16 training unless otherwise stated.
훈련 매개변수. 우리는 코사인 Learning Rate 스케줄러와 함께 AdamW Optimizer를 사용합니다. 여기에는 1K 단계의 워밍업이 포함된 후, Learning Rate가 기준 학습률의 1배에서 0.1배로 코사인 감소합니다. 달리 명시되지 않는 한 혼합 정밀도 fp16 훈련을 사용합니다.
훈련 매개변수.코사인 학습률 스케줄러와 함께 AdamW 옵티마이저를 사용합니다. 여기에는 1K 단계의 워밍업이 포함된 후, 학습률이 기준 학습률의 1배에서 0.1배로 코사인 감소합니다. 달리 명시되지 않는 한 혼합 정밀도 fp16 훈련을 사용합니다.