Footnote 2: The training step law (Kaplan et al., 2020) refers to the function between the intermediate training step and its corresponding _loss in one single training run_. For clarity, we highlight its difference from the data scaling law that predicts the early exit loss (Kaplan et al., 2020) or the loss obtained with optimal hyperparameters for each data budget (Hoffmann et al., 2022).
각주 2: 훈련 단계 법칙(Kaplan et al., 2020)은 단일 훈련 실행에서 중간 훈련 단계와 그에 해당하는 _Loss_ 사이의 함수를 의미합니다. 명확성을 위해 초기 종료 Loss(Kaplan et al., 2020)를 예측하거나 각 데이터 예산에 대해 최적의 하이퍼파라미터로 얻은 Loss를 예측하는 데이터 Scaling law(Hoffmann et al., 2022)와의 차이점을 강조합니다.
각주 2: 훈련 단계 법칙(Kaplan et al., 2020)은 단일 훈련 실행에서 중간 훈련 단계와 그에 해당하는 _손실_ 사이의 함수를 의미합니다. 명확성을 위해 초기 종료 손실(Kaplan et al., 2020)을 예측하거나 각 데이터 예산에 대해 최적의 하이퍼파라미터로 얻은 손실을 예측하는 데이터 스케일링 법칙(Hoffmann et al., 2022)과의 차이점을 강조합니다.