* Language models typically need at least 50K training steps _regardless of_ batch size. Thus, for small \(N\), we _reduce the batch size_ to ensure the total number of training steps exceeds this threshold. For very large models, a larger batch size is preferred to enable GPU parallelism. * When \(lr\) remains constant, \(wd\) should be relatively reduced as the number of training steps increases. Mathematically, the model weights should be "halved" for every \(\Theta(\frac{1}{lr\times wd})\) training steps. Therefore, it's advisable to reduce the \(wd\) parameter when training for longer periods.
* 언어 모델은 일반적으로 배치 크기와 관계없이 최소 50K의 학습 단계를 필요로 합니다. 따라서 작은 \(N\)의 경우, 총 학습 단계 수가 이 임계값을 초과하도록 배치 크기를 줄입니다. 매우 큰 모델의 경우, GPU 병렬 처리를 가능하게 하기 위해 더 큰 배치 크기가 선호됩니다. * \(lr\)이 일정하게 유지될 때, 학습 단계 수가 증가함에 따라 \(wd\)를 상대적으로 줄여야 합니다. 수학적으로, 모델 가중치는 \(\Theta(\frac{1}{lr\times wd})\) 학습 단계마다 "절반"이 되어야 합니다. 따라서 더 긴 기간 동안 학습할 때는 \(wd\) 매개변수를 줄이는 것이 좋습니다.
* 언어 모델은 일반적으로 배치 크기에 관계없이 최소 50K 트레이닝 단계가 필요합니다. 따라서 \(N\)이 작은 경우 총 트레이닝 단계 수가 이 임계값을 초과하도록 배치 크기를 줄입니다. 모델이 매우 큰 경우에는 GPU 병렬 처리를 위해 더 큰 배치 크기를 선호합니다. * lr$이 일정하게 유지되는 경우, 훈련 단계 수가 증가함에 따라 $wd$는 상대적으로 감소해야 합니다. 수학적으로 모델 가중치는 \(\Theta(\frac{1}{lr\times wd})\) 훈련 단계마다 "반감"되어야 합니다. 따라서 장시간 훈련할 때는 \(wd\) 매개변수를 줄이는 것이 좋습니다.