What does infinite batch size mean?It is infeasible to train a model with an infinite batch size in practice, but we can employ a "trial and error" method to find a sufficiently large batch size that is equivalent to the infinite batch size, which we refer to as a _relatively infinite batch size_. This is based on the fact that a further increase of the sufficiently large batch size does not further reduce the number of training steps required to achieve a certain loss value, thus not altering the training loss curve. As a result, this relatively infinite batch size can be found by increasing the batch size until the training loss curve becomes stationary. We empirically found that for model sizes at the magnitude of 10M, a batch of 40M tokens is sufficiently large. In this way, \(S_{c}\) and \(\alpha_{S}\) can be estimated by the loss values and steps during the training of the 10M model at this _relatively infinite batch size_.
무한 Batch Size란 무엇을 의미하나요? 실제로 무한한 Batch Size로 모델을 훈련하는 것은 불가능하지만, '시행착오' 방법을 사용하여 무한한 Batch Size와 동일한 충분히 큰 Batch Size를 찾을 수 있으며, 이를 _상대적으로 무한한 Batch Size_라고 합니다. 이는 충분히 큰 Batch Size를 더 늘려도 특정 Loss 값을 달성하는 데 필요한 훈련 단계 수가 더 이상 줄어들지 않아 훈련 Loss 곡선이 변경되지 않는다는 사실에 기반합니다. 결과적으로 이 상대적으로 무한한 Batch Size는 훈련 Loss 곡선이 고정될 때까지 Batch Size를 늘려서 찾을 수 있습니다. 저희는 경험적으로 1,000만 단위의 모델 크기에 대해 4,000만 토큰의 Batch가 충분히 크다는 것을 발견했습니다. 이러한 방식으로, 상대적으로 무한한 Batch Size에서 1,000만 모델을 훈련하는 동안 Loss 값과 단계에 의해 \(S_{c}\) 및 \(\alpha_{S}\)를 추정할 수 있습니다.
무한 배치 크기란 무엇을 의미하나요?실제로 무한한 배치 크기로 모델을 훈련하는 것은 불가능하지만, '시행착오' 방법을 사용하여 무한한 배치 크기와 동일한 충분히 큰 배치 크기를 찾을 수 있으며, 이를 _상대적으로 무한한 배치 크기_라고 합니다. 이는 충분히 큰 배치 크기를 더 늘려도 특정 손실 값을 달성하는 데 필요한 훈련 단계 수가 더 이상 줄어들지 않아 훈련 손실 곡선이 변경되지 않는다는 사실에 기반합니다. 결과적으로 이 상대적으로 무한한 배치 크기는 훈련 손실 곡선이 고정될 때까지 배치 크기를 늘려서 찾을 수 있습니다. 저희는 경험적으로 1,000만 단위의 모델 크기에 대해 4,000만 토큰의 배치가 충분히 크다는 것을 발견했습니다. 이러한 방식으로, 상대적으로 무한한 배치 크기_에서 1,000만 모델을 훈련하는 동안 손실 값과 단계에 의해 \(S_{c}\) 및 \(\alpha_{S}\)를 추정할 수 있습니다.