**Effective Data Scaling with WSD LRS.** With WSD LRS, we can continuously train the LM to extreme convergence. To further demonstrate the potential of training a fixed-sized model to convergence, we compare continuously training a 0.036B LM with a 0.17B model with 40N data. In Figure 6, the green lines represent 0.036B models trained with different stable training tokens. Despite the last point of the 0.036B series being trained with many more tokens than Chinchilla Optimal (Hoffmann et al., 2022), it still has space for performance improvement.
**WSD LRS를 사용한 효과적인 데이터 스케일링.** WSD LRS를 사용하면 LM을 극한의 수렴까지 지속적으로 훈련할 수 있습니다. 고정된 크기의 모델을 수렴까지 훈련하는 잠재력을 더욱 입증하기 위해 0.036B LM을 40N 데이터로 0.17B 모델과 지속적으로 훈련하는 것을 비교했습니다. 그림 6에서 녹색 선은 다양한 안정적인 훈련 토큰으로 훈련된 0.036B 모델을 나타냅니다. 0.036B 시리즈의 마지막 지점은 Chinchilla Optimal (Hoffmann et al., 2022)보다 훨씬 더 많은 토큰으로 훈련되었음에도 불구하고 여전히 성능 개선의 여지가 있습니다.
**WSD LRS를 사용한 효과적인 데이터 스케일링.** WSD LRS를 사용하면 LM을 극한의 수렴까지 지속적으로 훈련할 수 있습니다. 고정된 크기의 모델을 수렴까지 훈련하는 잠재력을 더욱 입증하기 위해 0.036B LM을 40N 데이터로 0.17B 모델과 지속적으로 훈련하는 것을 비교했습니다. 그림 6에서 녹색 선은 다양한 안정적인 훈련 토큰으로 훈련된 0.036B 모델을 나타냅니다. 0.036B 시리즈의 마지막 지점은 척추동물 최적(Hoffmann et al., 2022)보다 훨씬 더 많은 토큰으로 훈련되었음에도 불구하고 여전히 성능 개선의 여지가 있습니다.