Dependency on Learning RateEq. 3.13 depends only on \(N,S\) and \(B\) but not other hyperparameters such as the learning rate. When training with a finite batch size, the learning rate will undoubtedly have a significant impact on the loss trajectory. Removing the influence of the learning rate from Eq. 3.13 is clearly impossible. Empirically, we observe that the prediction from Eq. 3.13 is accurate when the learning rate is _optimally set_, i.e., is adjusted to maximize the rate of decrease in curvature during the initial steps. As suggested in [16, BCC\({}^{+}\)24], the optimal learning rate should decrease when the model size increases. We could simply adopt a "trial and error" method to search for the optimal learning rate in the initial training steps. Once the learning rate is determined for a fixed-sized model, we can predict its precise test loss trajectory from Eq. 3.13 (after the initial warm-up stage.).
학습 속도에 대한 의존성Eq. 3.13은 \(N,S,B\)에만 의존하지만 Learning Rate와 같은 다른 하이퍼파라미터에는 의존하지 않습니다. 유한한 Batch Size로 훈련할 때 Learning Rate는 분명히 Loss 궤적에 큰 영향을 미칩니다. 3.13 방정식에서 Learning Rate의 영향을 제거하는 것은 분명히 불가능합니다. 경험적으로, 3.13 방정식의 예측은 Learning Rate가 _최적으로 설정된 경우, 즉 초기 단계에서 곡률 감소율을 최대화하도록 조정된 경우 정확하다는 것을 관찰할 수 있습니다. [16, BCC\({}^{+}\)24]에서 제안한 바와 같이, 최적의 Learning Rate는 모델 크기가 증가할 때 감소해야 합니다. 초기 훈련 단계에서 최적의 Learning Rate를 찾기 위해 단순히 "시행착오" 방법을 채택할 수 있습니다. 고정된 크기의 모델에 대해 Learning Rate가 결정되면 3.13 방정식에서 정확한 테스트 Loss 궤적을 예측할 수 있습니다(초기 워밍업 단계 이후).
학습 속도에 대한 의존성Eq. 3.13은 \(N,S,B\)에만 의존하지만 학습 속도와 같은 다른 하이퍼파라미터에는 의존하지 않습니다. 유한한 배치 크기로 훈련할 때 학습 속도는 분명히 손실 궤적에 큰 영향을 미칩니다. 3.13 방정식에서 학습 속도의 영향을 제거하는 것은 분명히 불가능합니다. 경험적으로, 3.13 방정식의 예측은 학습 속도가 _최적으로 설정된 경우, 즉 초기 단계에서 곡률 감소율을 최대화하도록 조정된 경우 정확하다는 것을 관찰할 수 있습니다. [16, BCC\({}^{+}\)24]에서 제안한 바와 같이, 최적의 학습 속도는 모델 크기가 증가할 때 감소해야 합니다. 초기 훈련 단계에서 최적의 학습 속도를 찾기 위해 단순히 "시행착오" 방법을 채택할 수 있습니다. 고정된 크기의 모델에 대해 학습 속도가 결정되면 3.13 방정식에서 정확한 테스트 손실 궤적을 예측할 수 있습니다(초기 워밍업 단계 이후).