From \(S_{\min}\) to \(S\).Thankfully, there is a conversion between the training step \(S\) with any batch size \(B\) and the training step \(S_{\min}\) with sufficiently/infinitely large batch size. Let \(\theta\) be the model parameters at some point during optimizing the model, \(G_{\mathrm{est}}\) be the noisy gradients estimated by SGD at the point. Note that \(G_{\mathrm{est}}\) is a random variable whose expectation is the real gradients \(G\) with infinitely large batch size (_i.e._, \(\mathbb{E}[G_{\mathrm{est}}]=G\)).
S_{\min}\)에서 \(S\)까지. 다행히도, 모든 batch size \(B\)를 가진 훈련 단계 \(S\)와 충분히/무한히 큰 batch size \(S_{\min}\)를 가진 훈련 단계 사이에는 변환이 있습니다. 모델을 최적화하는 동안의 어느 시점에서 모델 파라미터를 \(\theta\)로 하고, 그 시점에서 SGD에 의해 추정된 노이즈 gradients를 \(G_{\mathrm{est}}\)로 합니다. G_{\mathrm{est}}\)는 무한히 큰 batch size의 실제 gradients \(G\)의 기대값(_즉, \(\mathbb{E}[G_{\mathrm{est}}]=G\))인 확률 변수라는 점에 유의하세요.
S_{\min}\)에서 \(S\)까지.다행히도, 모든 배치 크기 \(B\)를 가진 훈련 단계 \(S\)와 충분히/무한히 큰 배치 크기 \(S_{\min}\)를 가진 훈련 단계 사이에는 변환이 있습니다. 모델을 최적화하는 동안의 어느 시점에서 모델 파라미터를 \(\theta\)로 하고, 그 시점에서 SGD에 의해 추정된 노이즈 그라디언트를 \(G_{\mathrm{est}}\)로 합니다. G_{\mathrm{est}}\)는 무한히 큰 배치 크기의 실제 그라디언트 \(G\)의 기대값(_즉, \(\mathbb{E}[G_{\mathrm{est}}]=G\))인 확률 변수라는 점에 유의하세요.