Predicting the entire test loss curve requires estimating the test loss at any given training step. This is very challenging because there are many other factors (_e.g._, learning rate schedules, optimizers, and batch sizes) that significantly affect the training process. However, as shown in [16] and [17], these factors' effects can be largely eliminated if we train the model at an _infinitely large batch size_, where the stochastic gradient descent (SGD) becomes gradient descent (GD). The training step at the _infinitely large batch size_ is denoted by \(S_{\min}\) because it is the minimum possible number of training steps required to attain a certain loss. Note that the larger the training batch size, the fewer the training steps required.
전체 테스트 Loss 곡선을 예측하려면 주어진 훈련 단계에서 테스트 Loss를 추정해야 합니다. 이는 훈련 과정에 큰 영향을 미치는 다른 많은 요인(예: Learning Rate 일정, Optimizer, Batch Size)이 있기 때문에 매우 어려운 작업입니다. 그러나 [16] 및 [17]에서 볼 수 있듯이, 이러한 요인의 영향은 _무한히 큰 Batch Size_에서 모델을 훈련하면 대부분 제거할 수 있으며, 여기서 확률적 경사 하강(SGD)은 경사 하강(GD)이 됩니다. _무한히 큰 Batch Size_에서의 훈련 단계는 특정 Loss를 달성하는 데 필요한 최소한의 훈련 단계이므로 \(S_{\min}\)으로 표시됩니다. 훈련 Batch Size가 클수록 필요한 훈련 단계가 줄어든다는 점에 유의하세요.
전체 테스트 손실 곡선을 예측하려면 주어진 훈련 단계에서 테스트 손실을 추정해야 합니다. 이는 훈련 과정에 큰 영향을 미치는 다른 많은 요인(예: 학습 속도 일정, 최적화 도구, 배치 크기)이 있기 때문에 매우 어려운 작업입니다. 그러나 [16] 및 [17]에서 볼 수 있듯이, 이러한 요인의 영향은 _무한히 큰 배치 크기_에서 모델을 훈련하면 대부분 제거할 수 있으며, 여기서 확률적 경사 하강(SGD)은 경사 하강(GD)이 됩니다. 무한히 큰 배치 크기_에서의 훈련 단계는 특정 손실을 달성하는 데 필요한 최소한의 훈련 단계이므로 \(S_{\min}\)으로 표시됩니다. 훈련 배치 크기가 클수록 필요한 훈련 단계가 줄어든다는 점에 유의하세요.