We disable learning rate warmup, set the batch size to 96, the learning rate to 0.001 (with linear decay down to 0), weight decay at 0.1, and finetune for 75,000 steps.
학습률 워밍업을 비활성화하고, Batch Size를 96으로, Learning Rate를 0.001로(0까지 선형 감소), weight decay를 0.1로 설정하고, 75,000단계 동안 Fine-tuning한다.
학습률 워밍업을 비활성화하고, 배치 크기를 96으로, 학습률을 0.001로(0까지 선형 감소), 가중치 감쇠를 0.1로 설정하고, 75,000단계 동안 미세 조정한다.