As shown in Figure 1, we plot the batch size in x-axis, and token consumption in y-axis, the color of the points represents loss. Thus a horizontal line formed by the color points denotes a training curve. we use parabolas to fit the equal-loss points and connect the minima of the parabolas with red lines. The lines demonstrate the optimal batch size shifts large as the loss decreases. We then connect the three lines (see Figure 2) and find that the lines connect each other well into a linear relationship in the log space, from which we obtain the following relationship between batch size _bs_ and C4 Loss _L:_\(bs=\frac{1.21\times 10^{9}}{L^{6.24}}\).
그림 1과 같이 x축에 Batch Size를, y축에 토큰 소비량을 그래프로 그려 놓았으며, 점의 색상은 Loss를 나타냅니다. 따라서 색상 점으로 이루어진 수평선은 훈련 곡선을 나타냅니다. 포물선을 사용하여 동일한 Loss 점을 맞추고 포물선의 최소값을 빨간색 선으로 연결합니다. 이 선은 Loss가 감소함에 따라 최적의 Batch Size가 크게 이동하는 것을 보여줍니다. 그런 다음 세 개의 선을 연결합니다(그림 2 참조), 그 선들이 로그 공간에서 선형 관계로 서로 잘 연결되는 것을 알 수 있으며, 이를 통해 Batch Size _bs_와 C4 Loss _L 사이의 다음과 같은 관계를 얻을 수 있습니다:_\(bs=\frac{1.21\times 10^{9}}{L^{6.24}}\).
그림 1과 같이 x축에 배치 크기를, y축에 토큰 소비량을 그래프로 그려 놓았으며, 점의 색상은 손실을 나타냅니다. 따라서 색상 점으로 이루어진 수평선은 훈련 곡선을 나타냅니다. 포물선을 사용하여 동일한 손실 점을 맞추고 포물선의 최소값을 빨간색 선으로 연결합니다. 이 선은 손실이 감소함에 따라 최적의 배치 크기가 크게 이동하는 것을 보여줍니다. 그런 다음 세 개의 선을 연결합니다(그림 2 참조), 그 선들이 로그 공간에서 선형 관계로 서로 잘 연결되는 것을 알 수 있으며, 이를 통해 배치 크기 _bs_와 C4 손실 _L 사이의 다음과 같은 관계를 얻을 수 있습니다:_\(bs=\frac{1.21\배 10^{9}}{L^{6.24}}\).