Scaling lawsare functional relationships between the properties of interests (e.g., test loss or other performance metrics) and the scales of controllable factors regarding the optimization process or architecture (e.g., model sizes and numbers of training samples) (Villalobos, 2023). Along with the development of machine learning, characterizing scaling behaviors has garnered great research interest under the context of learning theories, bounding the generalization error given the number of training samples in the form of power laws (Vapnik and Chervonenkis, 1971; Valiant, 1984; Haussler, 1988; Amari et al., 1992). Nevertheless, overly strict assumptions hinder their practical applications. In recent years, statistical estimation on scaling gained fast progress for deep neural networks and spawns the introduction of scaling laws. Hestness et al. (2017) pioneers the trend and demonstrates power-law generalization error scaling across a breadth of factors but the power-law exponents differ from previous theoretical analysis. Kaplan et al. (2020); Hoffmann et al. (2022); Henighan et al. (2020) conduct more comprehensive investigations on Transformer architecture (Vaswani et al., 2017), further highlighting the power-law relationship on test loss regarding model sizes, the amount of training data and computation across orders of magnitudes. These findings foretell the performance gain with scaling quantitatively and guide the trade-off between larger models and more training data, directing to the later development of large language models (Brown et al., 2020; Hoffmann et al., 2022; OpenAI, 2023). Lately, progressive investigations propose amendments to existing scaling laws (Caballero et al., 2022; Alabdulmohsin et al., 2022), seeking theoretical explanations on the empirical formulas Bahri et al. (2021); Hutter (2021); Michaud et al. (2024), and exploring the functional relationships in broader scenarios (Hernandez et al., 2021; Frantar et al., 2023; Liu et al., 2023). The most relevant study to ours is Hashimoto (2021) which explores performance prediction under multiple data sources but is limited to small-scaled supervised learning tasks.
스케일링 laws는 관심 속성(예: 테스트 Loss 또는 기타 성능 메트릭)과 최적화 프로세스 또는 아키텍처(예: 모델 크기 및 훈련 샘플 수)와 관련된 제어 가능한 요소의 규모 사이의 기능적 관계입니다(Villalobos, 2023). 머신 러닝의 발전과 함께 학습 이론의 맥락에서 훈련 샘플 수에 따른 일반화 오류를 파워 laws 형태로 제한하는 등 스케일링 동작을 특성화하는 연구에 큰 관심이 모아졌습니다(Vapnik and Chervonenkis, 1971; Valiant, 1984; Haussler, 1988; Amari et al., 1992). 그러나 지나치게 엄격한 가정은 실제 적용을 방해합니다. 최근 몇 년 동안 심층 신경망에 대한 스케일링에 대한 통계적 추정이 빠르게 진전되어 스케일링 laws의 도입이 이루어졌습니다. Hestness et al. (2017)은 이러한 추세를 개척하여 광범위한 요인에 걸쳐 거듭제곱 laws 일반화 오류 스케일링을 입증했지만, 거듭제곱 laws 지수는 이전의 이론적 분석과 다릅니다. Kaplan et al. (2020); Hoffmann et al. (2022); Henighan et al. (2020)은 Transformer 아키텍처(Vaswani et al., 2017)에 대한 보다 포괄적인 조사를 수행하여 모델 크기, 훈련 데이터 및 훈련 샘플의 양과 관련된 테스트 Loss에 대한 거듭제곱 laws 관계를 더욱 강조합니다. 이러한 연구 결과는 정량적으로 스케일링에 따른 성능 향상을 예측하고 더 큰 모델과 더 많은 훈련 데이터 간의 트레이드오프를 안내하여 Large Language Models (LLMs)(Brown et al., 2020; Hoffmann et al., 2022; OpenAI, 2023)의 후속 개발로 이어집니다. 최근에는 기존 스케일링 laws에 대한 수정안을 제안하고(Caballero et al., 2022; Alabdulmohsin et al., 2022), 경험 공식에 대한 이론적 설명을 모색하고(Bahri et al., 2021; Hutter, 2021; Michaud et al., 2024), 더 넓은 시나리오에서 기능적 관계를 탐구하는 진보적인 연구가 진행되고 있습니다(Hernandez et al., 2021; Frantar et al., 2023; Liu et al., 2023). 우리 연구와 가장 관련성이 높은 연구는 여러 데이터 소스에서 성능 예측을 탐구하지만 소규모 감독 학습 작업으로 제한되는 Hashimoto(2021)입니다.
스케일링 법칙은 관심 속성(예: 테스트 손실 또는 기타 성능 메트릭)과 최적화 프로세스 또는 아키텍처(예: 모델 크기 및 훈련 샘플 수)와 관련된 제어 가능한 요소의 규모 사이의 기능적 관계입니다(Villalobos, 2023). 머신 러닝의 발전과 함께 학습 이론의 맥락에서 훈련 샘플 수에 따른 일반화 오류를 파워 규칙 형태로 제한하는 등 스케일링 동작을 특성화하는 연구에 큰 관심이 모아졌습니다(Vapnik and Chervonenkis, 1971; Valiant, 1984; Haussler, 1988; Amari et al., 1992). 그러나 지나치게 엄격한 가정은 실제 적용을 방해합니다. 최근 몇 년 동안 심층 신경망에 대한 스케일링에 대한 통계적 추정이 빠르게 진전되어 스케일링 법칙의 도입이 이루어졌습니다. Hestness et al. (2017)은 이러한 추세를 개척하여 광범위한 요인에 걸쳐 거듭제곱 법칙 일반화 오류 스케일링을 입증했지만, 거듭제곱 법칙 지수는 이전의 이론적 분석과 다릅니다. Kaplan et al. (2020); Hoffmann et al. (2022); Henighan et al. (2020)은 트랜스포머 아키텍처(Vaswani et al., 2017)에 대한 보다 포괄적인 조사를 수행하여 모델 크기, 훈련 데이터 및 훈련 샘플의 양과 관련된 테스트 손실에 대한 거듭제곱 법칙 관계를 더욱 강조합니다. 이러한 연구 결과는 정량적으로 스케일링에 따른 성능 향상을 예측하고 더 큰 모델과 더 많은 훈련 데이터 간의 트레이드오프를 안내하여 대규모 언어 모델(Brown et al., 2020; Hoffmann et al., 2022; OpenAI, 2023)의 후속 개발로 이어집니다. 최근에는 기존 스케일링 법칙에 대한 수정안을 제안하고(Caballero et al., 2022; Alabdulmohsin et al., 2022), 경험 공식에 대한 이론적 설명을 모색하고(Bahri et al., 2021; Hutter, 2021; Michaud et al., 2024), 더 넓은 시나리오에서 기능적 관계를 탐구하는 진보적인 연구가 진행되고 있습니다(Hernandez et al., 2021; Frantar et al., 2023; Liu et al., 2023). 우리 연구와 가장 관련성이 높은 연구는 여러 데이터 소스에서 성능 예측을 탐구하지만 소규모 감독 학습 작업으로 제한되는 Hashimoto(2021)입니다.