In this section, we introduce the utilization of the WSD scheduler as an effective approach to explore the scaling law with linear cost (\(O(mC)\)). Since WSD scheduler has the advantage of arriving at the optimal loss of Cosine LRS after decaying from stable stage's checkpoints of any step, we are now able to precisely measure the optimal scaling properties without re-training the models from scratch to different amount of tokens, thus making the scaling law measurement much more efficient along the data axis.
이 섹션에서는 선형 비용(\(O(mC)\))으로 scaling law를 탐색하는 효과적인 접근 방식으로서 WSD 스케줄러의 활용에 대해 소개합니다. WSD 스케줄러는 안정적인 단계의 체크포인트에서 붕괴한 후 Cosine LRS의 최적 loss에 도달하는 장점이 있으므로 이제 모델을 다양한 토큰 수로 처음부터 다시 훈련하지 않고도 최적의 scaling 속성을 정확하게 측정할 수 있으므로 데이터 축을 따라 scaling law를 측정하는 것이 훨씬 더 효율적입니다.
이 섹션에서는 선형 비용(\(O(mC)\))으로 스케일링 법칙을 탐색하는 효과적인 접근 방식으로서 WSD 스케줄러의 활용에 대해 소개합니다. WSD 스케줄러는 안정적인 단계의 체크포인트에서 붕괴한 후 코사인 LRS의 최적 손실에 도달하는 장점이 있으므로 이제 모델을 다양한 토큰 수로 처음부터 다시 훈련하지 않고도 최적의 스케일링 속성을 정확하게 측정할 수 있으므로 데이터 축을 따라 스케일링 법칙을 측정하는 것이 훨씬 더 효율적입니다.