Batch size determines the balance between the convergence speed of the model and the consumption of computational resources. If the batch size is too large, it will result in a significant amount of data and computation cost. On the other hand, if the batch size is too small, it will require a large number of training steps and may result in a limited decrease in the loss function. We follows Kaplan et al. (2020) to determine the batchsize from expected loss, with a slight modification from their setting (see Appendix A.2). We conduct experiments on 0.009B, 0.03B, and 0.17B models, respectively, toward this goal. Each model size is trained on 6 batch sizes with a global learning rate of 0.01 and cosine learning rate scheduler. We observe the trend of the optimal batch size with loss on the C4 (Raffel et al., 2019) dataset (red line in the Figure 1).
배치 크기(Batch Size)는 모델의 수렴 속도와 계산 리소스 소비 사이의 균형을 결정합니다. Batch Size가 너무 크면 상당한 양의 데이터와 계산 비용이 소요됩니다. 반면에 Batch Size가 너무 작으면 많은 수의 훈련 단계가 필요하고 Loss 함수가 제한적으로 감소할 수 있습니다. 우리는 Kaplan et al. (2020)을 따라 예상 Loss에서 Batch Size를 결정하며, 설정에서 약간 수정했습니다(부록 A.2 참조). 이를 위해 각각 0.009B, 0.03B 및 0.17B 모델에 대한 실험을 수행합니다. 각 모델 크기는 6개의 Batch Size에서 글로벌 Learning Rate 0.01 및 코사인 Learning Rate 스케줄러로 훈련됩니다. C4(Raffel et al., 2019) 데이터 세트에서 Loss에 대한 최적의 Batch Size의 추세를 관찰합니다(그림 1의 빨간색 선).
배치 크기는 모델의 수렴 속도와 계산 리소스 소비 사이의 균형을 결정합니다. 배치 크기가 너무 크면 상당한 양의 데이터와 계산 비용이 소요됩니다. 반면에 배치 크기가 너무 작으면 많은 수의 훈련 단계가 필요하고 손실 함수가 제한적으로 감소할 수 있습니다. 우리는 카플란 등(2020)을 따라 예상 손실에서 배치 크기를 결정하며, 설정에서 약간 수정했습니다(부록 A.2 참조). 이를 위해 각각 0.009B, 0.03B 및 0.17B 모델에 대한 실험을 수행합니다. 각 모델 크기는 6개의 배치 크기에서 글로벌 학습률 0.01 및 코사인 학습률 스케줄러로 훈련됩니다. C4(Raffel et al., 2019) 데이터 세트에서 손실에 대한 최적의 배치 크기의 추세를 관찰합니다(그림 1의 빨간색 선).