where \(N(C)\) and \(S(C)\) are the optimal model size and number of training steps given a fixed computational budget \(C\). \(L\left(N\left(C\right),C,S(C)\right)\) is the final loss value with the chosen \(N(c),C\) and \(S(C)\). The detailed derivation can be found in Appendix B.1 of [13]. All the constant terms mentioned above are already known through the derivation steps described in Section 3, so we could directly estimate \(N(C)\) and \(S(C)\) from from our computational budget \(C\). Note that, as shown in Eq 5.1, the final loss is \(\alpha_{N}/\alpha_{S}\) more than the converged loss \(L(N,\infty)\). Therefore, optimally we should _NOT_ train the model until convergence, which contrasts with the current common practice.
여기서 \(N(C)\)와 \(S(C)\)는 고정된 계산 예산 \(C\)가 주어졌을 때 최적의 모델 크기와 훈련 단계 수입니다. \(L\left(N\left(C\right),C,S(C)\right)\)는 선택된 \(N(c),C\) 및 \(S(C)\)를 사용한 최종 Loss 값입니다. 자세한 도출은 [13]의 부록 B.1에서 확인할 수 있습니다. 위에서 언급한 모든 상수 항은 섹션 3에서 설명한 도출 단계를 통해 이미 알려져 있으므로 계산 예산 \(C\)에서 \(N(C)\)와 \(S(C)\)를 직접 추정할 수 있습니다. 5.1 식에서 볼 수 있듯이 최종 Loss는 수렴된 Loss \(L(N,\infty)\)보다 \(\alpha_{N}/\alpha_{S}\) 더 큽니다. 따라서 최적으로는 모델을 수렴할 때까지 훈련하지 말아야 하는데, 이는 현재 일반적인 관행과 대조적입니다.
여기서 \(N(C)\)와 \(S(C)\)는 고정된 계산 예산 \(C\)가 주어졌을 때 최적의 모델 크기와 훈련 단계 수입니다. L\left(N\left(C\right),C,S(C)\right)\)는 선택된 \(N(c),C\) 및 \(S(C)\)를 사용한 최종 손실 값입니다. 자세한 도출은 [13]의 부록 B.1에서 확인할 수 있습니다. 위에서 언급한 모든 상수 항은 섹션 3에서 설명한 도출 단계를 통해 이미 알려져 있으므로 계산 예산 \(C\)에서 \(N(C)\)와 \(S(C)\)를 직접 추정할 수 있습니다. 5.1 식에서 볼 수 있듯이 최종 손실은 수렴된 손실 \(L(N,\infty)\)보다 \(\alpha_{N}/\alpha_{S}\) 더 큽니다. 따라서 최적으로는 모델을 수렴할 때까지 훈련하지 말아야 하는데, 이는 현재 일반적인 관행과 대조적입니다.