We also verified the validity of Equation 3.11 in our experiments (see an example in Figure 2). Putting this \(B_{\text{crit}}(L)\) back to Equation 3.11, we can have: When \(B=B_{\text{crit}}(L)\), we have \(S=2S_{min}\) and \(E=2E_{min}\), meaning that training with the critical batch size will cost twice the minimum number of steps and tokens necessary to reach a certain loss value \(L\).
또한 실험에서 식 3.11의 유효성을 검증했습니다(그림 2의 예를 참조하세요). 이 \(B_{\text{crit}}(L)\)을 방정식 3.11에 다시 대입하면 다음과 같이 구할 수 있습니다: \(B=B_{\text{crit}}(L)\)일 때, \(S=2S_{min}\), \(E=2E_{min}\), 즉 임계 Batch Size로 훈련하면 특정 Loss 값 \(L\)에 도달하는 데 필요한 최소 단계 수와 토큰 수의 두 배가 소요됩니다.
또한 실험에서 식 3.11의 유효성을 검증했습니다(그림 2의 예를 참조하세요). 이 \(B_{\text{crit}}(L)\)을 방정식 3.11에 다시 대입하면 다음과 같이 구할 수 있습니다: B=B_{\text{crit}}(L)\)일 때, \(S=2S_{min}\), \(E=2E_{min}\), 즉 임계 배치 크기로 훈련하면 특정 손실 값 \(L\)에 도달하는 데 필요한 최소 단계 수와 토큰 수의 두 배가 소요됩니다.