The original scaling law paper by OpenAI presented the formulas of scaling laws and illustrated how they could aid in determining optimal training configurations [20]. Nonetheless, the presented formulas are based on static exponents estimated from their specific experiment setup. The full details on how to derive the constant terms in the scaling-law formulas for a new experiment setup (model architecture, tokenization, data distribution, etc) remain undisclosed. Furthermore, [20] only conducted experiments with models containing up to 1.5B parameters, a size significantly smaller than that of contemporary large language models. There have been subsequent works that study scaling laws on larger models [3, 23, 24]. Some have drawn different conclusions from the original scaling-law paper, casting doubt to the general applicability of scaling laws. For example, [23] claimed that the training data size should be scaled much more than the recommendation in [20]. [3] suggested that the optimal batch size depends only on the compute budget rather than the loss value.
OpenAI의 원래 scaling law 논문에서는 scaling laws의 공식을 제시하고 최적의 훈련 구성을 결정하는 데 어떻게 도움이 될 수 있는지 설명했습니다[20]. 그러나 제시된 공식은 특정 실험 설정에서 추정된 정적 지수를 기반으로 합니다. 새로운 실험 설정(모델 아키텍처, tokenization, 데이터 분포 등)에 대한 scaling law 공식의 상수 항을 도출하는 방법에 대한 자세한 내용은 아직 공개되지 않았습니다. 또한 [20]은 최대 15억 개의 파라미터를 포함하는 모델로만 실험을 수행했으며, 이는 현대의 Large Language Models보다 훨씬 작은 크기입니다. 이후 더 큰 모델에 대한 scaling laws를 연구하는 연구가 이어졌습니다[3, 23, 24]. 일부에서는 scaling laws의 일반적인 적용 가능성에 의문을 제기하면서 원래의 scaling law 논문과 다른 결론을 도출했습니다. 예를 들어, [23]은 훈련 데이터 크기는 [20]의 권장 사항보다 훨씬 더 많이 확장되어야 한다고 주장했습니다. [3]은 최적의 Batch Size는 Loss 값이 아닌 컴퓨팅 예산에만 의존한다고 제안했습니다.
OpenAI의 원래 스케일링 법칙 논문에서는 스케일링 법칙의 공식을 제시하고 최적의 훈련 구성을 결정하는 데 어떻게 도움이 될 수 있는지 설명했습니다[20]. 그러나 제시된 공식은 특정 실험 설정에서 추정된 정적 지수를 기반으로 합니다. 새로운 실험 설정(모델 아키텍처, 토큰화, 데이터 분포 등)에 대한 스케일링 법칙 공식의 상수 항을 도출하는 방법에 대한 자세한 내용은 아직 공개되지 않았습니다. 또한 [20]은 최대 15억 개의 파라미터를 포함하는 모델로만 실험을 수행했으며, 이는 현대의 대형 언어 모델보다 훨씬 작은 크기입니다. 이후 더 큰 모델에 대한 스케일링 법칙을 연구하는 연구가 이어졌습니다[3, 23, 24]. 일부에서는 스케일링 법칙의 일반적인 적용 가능성에 의문을 제기하면서 원래의 스케일링 법칙 논문과 다른 결론을 도출했습니다. 예를 들어, [23]은 훈련 데이터 크기는 [20]의 권장 사항보다 훨씬 더 많이 확장되어야 한다고 주장했습니다. [3]은 최적의 배치 크기는 손실 값이 아닌 컴퓨팅 예산에만 의존한다고 제안했습니다.