The scaling laws of large language models remain a pivotal area of research, enabling predictions about the performance of extremely large models through experiments with smaller ones. On the training time aspect, established scaling laws [1, 13, 14, 16, 21] discuss the optimal training flops versus model size. However, recent studies [12, 24, 25] challenge these laws, demonstrating that training smaller models with significantly more flops can yield superior results. While these laws talk about how much time/data is needed to train a model of a certain size, another fundamental question is: _what is the ultimate performance a model can achieve, assuming sufficient training_?
대규모 언어 모델의 scaling laws는 여전히 중요한 연구 분야로, 작은 모델을 통한 실험을 통해 매우 큰 모델의 성능을 예측할 수 있습니다. 훈련 시간 측면에서 확립된 scaling laws[1, 13, 14, 16, 21]는 최적의 훈련 flops와 모델 크기에 대해 논의합니다. 그러나 최근 연구[12, 24, 25]에서는 훨씬 더 많은 flops를 사용하여 더 작은 모델을 훈련하는 것이 더 우수한 결과를 얻을 수 있음을 보여줌으로써 이러한 법칙에 이의를 제기합니다. 이러한 법칙은 특정 크기의 모델을 훈련하는 데 필요한 시간/데이터의 양에 대해 설명하지만, 또 다른 근본적인 질문은 _충분한 훈련을 가정할 때 모델이 달성할 수 있는 궁극적인 성능은 무엇인가_ 하는 것입니다.
대규모 언어 모델의 확장 법칙은 여전히 중요한 연구 분야로, 작은 모델을 통한 실험을 통해 매우 큰 모델의 성능을 예측할 수 있습니다. 훈련 시간 측면에서 확립된 확장 법칙[1, 13, 14, 16, 21]은 최적의 훈련 플롭과 모델 크기에 대해 논의합니다. 그러나 최근 연구[12, 24, 25]에서는 훨씬 더 많은 플롭을 사용하여 더 작은 모델을 훈련하는 것이 더 우수한 결과를 얻을 수 있음을 보여줌으로써 이러한 법칙에 이의를 제기합니다. 이러한 법칙은 특정 크기의 모델을 훈련하는 데 필요한 시간/데이터의 양에 대해 설명하지만, 또 다른 근본적인 질문은 _충분한 훈련을 가정할 때 모델이 달성할 수 있는 궁극적인 성능은 무엇인가_ 하는 것입니다.