Neural Scaling Laws for Language ModelsNeural scaling laws relate the optimal number of model parameters and amount of training data for a fixed amount of compute. Hoffmann et al. (2022) presented the Chinchilla scaling laws for language models demonstrating that there was a linear relationship between the size of the model and the amount of training data needed. Their findings indicated that prior models such as Gopher (Rae et al., 2021) are severely undertrained. Recently, models such as Llama (Touvron et al., 2023) are trained with much more data. These scaling laws were drawn for the paradigm of single-epoch training. Recently, Muennighoff et al. (2023) showed that the marginal utility of repeated data rapidly diminishes when training for more than 4 epochs, and formulated scaling laws under repeated data. Concurrently, Xue et al. (2023) showed that repeating even small fractions of the pre-training data can lead to overfitting and reduce model performance.
언어 모델을 위한 신경 Scaling Laws 신경 Scaling Laws는 고정된 컴퓨팅량에 대해 최적의 모델 파라미터 수와 학습 데이터 양을 연관시킵니다. Hoffmann 등(2022)은 언어 모델에 대한 Chinchilla Scaling Laws를 제시하여 모델의 크기와 필요한 학습 데이터 양 사이에 선형적인 관계가 있음을 보여주었습니다. 연구 결과에 따르면 Gopher(Rae et al., 2021)와 같은 이전 모델은 심각하게 과소 훈련된 것으로 나타났습니다. 최근에는 Llama(Touvron et al., 2023)와 같은 모델이 훨씬 더 많은 데이터로 훈련되고 있습니다. 이러한 Scaling Laws는 단일 에포크 훈련의 패러다임에 대해 도출되었습니다. 최근 Muennighoff 등(2023)은 4회 이상 훈련할 때 반복 데이터의 한계 효용이 빠르게 감소한다는 것을 보여주고 반복 데이터에 따른 Scaling Laws를 공식화했습니다. 동시에 Xue 등(2023)은 사전 학습 데이터의 작은 부분을 반복해도 과적합으로 이어져 모델 성능이 저하될 수 있음을 보여주었습니다.
언어 모델을 위한 신경 확장 법칙신경 확장 법칙은 고정된 컴퓨팅량에 대해 최적의 모델 파라미터 수와 학습 데이터 양을 연관시킵니다. Hoffmann 등(2022)은 언어 모델에 대한 신치라 스케일링 법칙을 제시하여 모델의 크기와 필요한 학습 데이터 양 사이에 선형적인 관계가 있음을 보여주었습니다. 연구 결과에 따르면 고퍼(Rae et al., 2021)와 같은 이전 모델은 심각하게 과소 훈련된 것으로 나타났습니다. 최근에는 Llama(Touvron et al., 2023)와 같은 모델이 훨씬 더 많은 데이터로 훈련되고 있습니다. 이러한 스케일링 법칙은 단일 에포크 훈련의 패러다임에 대해 도출되었습니다. 최근 Muennighoff 등(2023)은 4회 이상 훈련할 때 반복 데이터의 한계 효용이 빠르게 감소한다는 것을 보여주고 반복 데이터에 따른 스케일링 법칙을 공식화했습니다. 동시에 Xue 등(2023)은 사전 학습 데이터의 작은 부분을 반복해도 과적합으로 이어져 모델 성능이 저하될 수 있음을 보여주었습니다.