Theoretical Models for Scaling Laws:From a theoretical angle, scaling laws have been shown analytically even before the emergence of large foundation models. For instance, Caponnetto and de Vito (2007) characterize the power-law generalization error of regularized least-squares kernel algorithms. The role of optimization can also be taken into account in this setting ((Nitanda and Suzuki, 2021)). In the nonparametric literature, for example (Schmidt-Hieber, 2017) and (Suzuki, 2019) derived the test error scaling of deep neural network in fitting certain target functions and (Bordelon et al., 2020) analyze spectral dependence.
Theoretical Models for Scaling Laws: 이론적 관점에서, scaling laws는 대규모 기반 모델이 등장하기 전부터 분석적으로 입증되었습니다. 예를 들어, Caponnetto와 de Vito(2007)는 정규화된 최소 제곱 커널 알고리즘의 거듭제곱 일반화 오류를 특성화합니다. 이 설정에서도 optimization의 역할을 고려할 수 있습니다((Nitanda and Suzuki, 2021)). 비모수적 문헌에서는 (Schmidt-Hieber, 2017) 및 (Suzuki, 2019)에서 특정 대상 함수를 맞추는 deep neural network의 테스트 오류 scaling을 도출하고 (Bordelon et al., 2020)은 스펙트럼 의존성을 분석했습니다.
스케일링 법칙을 위한 이론적 모델: 이론적 관점에서 스케일링 법칙은 대규모 기반 모델이 등장하기 전부터 분석적으로 입증되었습니다. 예를 들어, Caponnetto와 de Vito(2007)는 정규화된 최소 제곱 커널 알고리즘의 거듭제곱 일반화 오류를 특성화합니다. 이 설정에서도 최적화의 역할을 고려할 수 있습니다((Nitanda and Suzuki, 2021)). 비모수적 문헌에서는 (Schmidt-Hieber, 2017) 및 (Suzuki, 2019)에서 특정 대상 함수를 맞추는 딥 뉴럴 네트워크의 테스트 오류 스케일링을 도출하고 (Bordelon et al., 2020)은 스펙트럼 의존성을 분석했습니다.