Estimating \(B_{*}\) and \(\alpha_{B}\)In order to estimate \(B_{*}\) and \(\alpha_{B}\), we train a fixed-sized model with various batch sizes to generate \(k\) contour lines representing consistent loss values. We then use Equation 3.11 to fit these series of contour lines, yielding a set of \(k\) estimated pairs \((E_{min}^{1},S_{min}^{1}),\ldots,(E_{min}^{k},S_{min}^{k})\) (as shown in Figure 2 where \(k=5\) and \(N=10M\)). Note that Eq 3.11 is linear w.r.t. \(S_{min}\) and \(E_{min}\), so we could use linear regression to fit them and obtain the \(k\) pairs of \((E_{min},S_{min})\).
B_{*} 및 \(\알파_{B}\) 추정하기 \(B_{*}\ 및 \(\알파_{B}\)를 추정하기 위해 다양한 Batch Size로 고정된 크기의 모델을 훈련하여 일관된 Loss 값을 나타내는 \(k\) 등고선을 생성합니다. 그런 다음 방정식 3.11을 사용하여 이 일련의 등고선을 맞춤으로써 일련의 \(k\) 추정 쌍 \((E_{min}^{1},S_{min}^{1}),\ldots,(E_{min}^{k},S_{min}^{k})\)를 구합니다(그림 2에서 \(k=5\), \(N=10M\) 참조). 방정식 3.11은 \(S_{min}\) 및 \(E_{min}\)에 대해 선형이므로 선형 회귀를 사용하여 이를 맞추고 \((E_{min},S_{min})\)의 \(k\) 쌍을 구할 수 있습니다.
B_{*}\ 및 \(\알파_{B}\) 추정하기 \(B_{*}\ 및 \(\알파_{B}\)를 추정하기 위해 다양한 배치 크기로 고정된 크기의 모델을 훈련하여 일관된 손실 값을 나타내는 \(k\) 등고선을 생성합니다. 그런 다음 방정식 3.11을 사용하여 이 일련의 등고선을 맞춤으로써 일련의 \(k\) 추정 쌍 \((E_{min}^{1},S_{min}^{1}),\ldots,(E_{min}^{k},S_{min}^{k})\)를 구합니다(그림 2에서 \(k=5\), \(N=10M\) 참조). 방정식 3.11은 \(S_{min}\ 및 \(E_{min}\)에 대해 선형이므로 선형 회귀를 사용하여 이를 맞추고 \((E_{min},S_{min})\)의 \(k\) 쌍을 구할 수 있습니다.