Finding a _relatively infinite batch size_ for small models is easy and we can use this trick to estimate \(S_{c}\) and \(\alpha_{S}\). For large models, however, training with such a _relatively infinite batch size_ is neither affordable nor economical. In practice, we are more interested in predicting the loss trajectory for large models under a _finite batch size_\(B\).
작은 모델의 경우 _상대적으로 무한한 Batch Size_를 찾는 것은 쉽고, 이 트릭을 사용하여 \(S_{c}\)와 \(\alpha_{S}\)를 추정할 수 있습니다. 그러나 대규모 모델의 경우 _상대적으로 무한한 Batch Size_로 훈련하는 것은 경제적이지도, 경제적이지도 않습니다. 실제로 우리는 _유한한 Batch Size_\(B\)에서 큰 모델의 Loss 궤적을 예측하는 데 더 관심이 있습니다.
작은 모델의 경우 _상대적으로 무한한 배치 크기_를 찾는 것은 쉽고, 이 트릭을 사용하여 \(S_{c}\)와 \(\alpha_{S}\)를 추정할 수 있습니다. 그러나 대규모 모델의 경우 _상대적으로 무한한 배치 크기_로 훈련하는 것은 경제적이지도, 경제적이지도 않습니다. 실제로 우리는 _유한한 배치 크기_\(B\)에서 큰 모델의 손실 궤적을 예측하는 데 더 관심이 있습니다.