Scaling laws serve as a fundamental guiding principle in the development of LLMs. Although these scaling laws exhibit variability in specific coefficients due to diverse configurations across model series, the compute optimal data-to-model ratio remains a meaningful metric across different scaling law functions, which "marginalizes" out the specific value of loss. Regarding this ratio, Kaplan et al. (2020) posit that a tenfold increase in model scale should equate to a singlefold increase in data scale. Conversely, Hoffmann et al.
스케일링 laws는 LLMs 개발의 기본 지침으로 사용됩니다. 이러한 스케일링 laws는 모델 시리즈 간의 다양한 구성으로 인해 특정 계수에서 변동성을 보이지만, compute optimal data-to-model ratio는 다양한 스케일링 law 함수에서 의미 있는 지표로 남아 있으며, 이는 loss의 특정 값을 "화폐화"합니다. 이 비율에 대해 Kaplan 등(2020)은 모델 규모가 10배 증가하면 데이터 규모가 1배 증가해야 한다고 가정합니다. 반대로 Hoffmann 등은
스케일링 법칙은 LLM 개발의 기본 지침으로 사용됩니다. 이러한 스케일링 법칙은 모델 시리즈 간의 다양한 구성으로 인해 특정 계수에서 변동성을 보이지만, 계산 최적의 데이터 대 모델 비율은 다양한 스케일링 법칙 함수에서 의미 있는 지표로 남아 있으며, 이는 손실의 특정 값을 "화폐화"합니다. 이 비율에 대해 Kaplan 등(2020)은 모델 규모가 10배 증가하면 데이터 규모가 1배 증가해야 한다고 가정합니다. 반대로 호프만 등은