For a given training run with a fixed cosine cycle length set to match the target number of training steps, then by Hoffmann et al's own results, the early intermediate losses will overestimate the final loss of an optimally trained model with the same number of training steps. This implies that early intermediate loss values should not be used to fit a scaling law in final loss values.
목표 훈련 단계 수와 일치하도록 고정된 코사인 주기를 가진 특정 훈련 실행의 경우, Hoffmann 등의 결과에 따르면 초기 중간 Loss는 동일한 훈련 단계 수를 가진 최적화된 모델의 최종 Loss를 과대 추정합니다. 이는 초기 중간 Loss 값을 최종 Loss 값의 Scaling law에 맞추는 데 사용해서는 안 된다는 것을 의미합니다.
목표 훈련 단계 수와 일치하도록 고정된 코사인 주기를 가진 특정 훈련 실행의 경우, Hoffmann 등의 결과에 따르면 초기 중간 손실은 동일한 훈련 단계 수를 가진 최적화된 모델의 최종 손실을 과대 추정합니다. 이는 초기 중간 손실 값을 최종 손실 값의 스케일링 법칙에 맞추는 데 사용해서는 안 된다는 것을 의미합니다.