We note that the nested use of scaling laws is still not a widely adopted strategy in existing literature to the best of our knowledge. Most studies try connecting newly found scaling laws to existing ones by incorporating variables into the latter (Hashimoto, 2021; Frantar et al., 2023; Aghajanyan et al., 2023). Although unifying of different scaling laws is attractive, the added complexity to the interaction among multiple variables makes identifying the function form extremely challenging and hard to verify. Pioneering efforts that derive scaling laws with multiple concerning factors (model sizes and the numbers of training data) (Kaplan et al., 2020; Hoffmann et al., 2022) make assumptions upon the theory of error decomposition (Harville, 1985; Domingos, 2000) but their outcomes are still not widely verified in large-scale practice. From this perspective, we consider that our nested use of scaling laws offers a new technical routine of using scaling laws, which circumvents the huge challenge of complicating existing laws, making the discovery and application of scaling laws more accessible.
스케일링 법칙의 중첩 사용은 기존 문헌에서 널리 채택되지 않은 전략이라는 점에 유의합니다. 대부분의 연구에서는 새로 발견한 scaling laws를 기존 법칙에 변수를 통합하여 기존 법칙과 연결하려고 합니다(Hashimoto, 2021; Frantar et al., 2023; Aghajanyan et al., 2023). 서로 다른 scaling laws를 통합하는 것은 매력적이지만, 여러 변수 간의 상호 작용에 복잡성이 추가되면 함수 형태를 식별하는 것이 매우 어렵고 검증하기 어렵습니다. 여러 관심 요인(모델 크기 및 훈련 데이터 수)을 고려하여 scaling laws를 도출하는 선구적인 노력(Kaplan et al., 2020; Hoffmann et al., 2022)은 오류 분해 이론(Harville, 1985; Domingos, 2000)에 대한 가정을 하고 있지만, 그 결과는 아직 대규모 실습에서 널리 검증되지 않았습니다. 이러한 관점에서 볼 때, scaling laws의 중첩 사용은 기존 법칙을 복잡화하는 거대한 과제를 회피하여 scaling laws의 발견과 적용을 더 쉽게 할 수 있는 새로운 기술적 루틴을 제공한다고 생각합니다.
스케일링 법칙의 중첩 사용은 기존 문헌에서 널리 채택되지 않은 전략이라는 점에 유의합니다. 대부분의 연구에서는 새로 발견한 스케일링 법칙을 기존 법칙에 변수를 통합하여 기존 법칙과 연결하려고 합니다(Hashimoto, 2021; Frantar et al., 2023; Aghajanyan et al., 2023). 서로 다른 스케일링 법칙을 통합하는 것은 매력적이지만, 여러 변수 간의 상호 작용에 복잡성이 추가되면 함수 형태를 식별하는 것이 매우 어렵고 검증하기 어렵습니다. 여러 관심 요인(모델 크기 및 훈련 데이터 수)을 고려하여 스케일링 법칙을 도출하는 선구적인 노력(Kaplan et al., 2020; Hoffmann et al., 2022)은 오류 분해 이론(Harville, 1985; Domingos, 2000)에 대한 가정을 하고 있지만, 그 결과는 아직 대규모 실습에서 널리 검증되지 않았습니다. 이러한 관점에서 볼 때, 스케일링 법칙의 중첩 사용은 기존 법칙을 복잡화하는 거대한 과제를 회피하여 스케일링 법칙의 발견과 적용을 더 쉽게 할 수 있는 새로운 기술적 루틴을 제공한다고 생각합니다.