We find that optimal parameters are \(A=119.09\) and \(\alpha=0.246\). We display the fitted curves for token counts that correspond to best and final checkpoints. We observe that the final checkpoints underperform the extrapolation by 8% in average. The loss-minimizing (_best_) checkpoints, which are expected to fall short of the extrapolation due to their incomplete learning rate cooldown, only underperform it by roughly 4%.
최적 매개변수는 \(A=119.09\) 및 \(\alpha=0.246\)임을 알 수 있습니다. 최적 및 최종 체크포인트에 해당하는 토큰 수에 대한 적합 곡선을 표시합니다. 최종 체크포인트가 평균 8%의 외삽에 못 미치는 것을 관찰합니다. 손실 최소화(_best_) 체크포인트는 불완전한 Learning Rate 쿨다운으로 인해 외삽에 미치지 못할 것으로 예상되지만, 외삽에 비해 약 4%만 못 미칩니다.
최적 매개변수는 \(A=119.09\) 및 \(\alpha=0.246\)임을 알 수 있습니다. 최적 및 최종 체크포인트에 해당하는 토큰 수에 대한 적합 곡선을 표시합니다. 최종 체크포인트가 평균 8%의 외삽에 못 미치는 것을 관찰합니다. 불완전한 학습 속도 쿨다운으로 인해 외삽에 미치지 못할 것으로 예상되는 손실 최소화(_best_) 체크포인트는 외삽에 비해 약 4%만 못 미칩니다.