where \(c\), \(k\), and \(\alpha\) are parameters to fit and \(x\) can be model sizes, numbers of training data, training steps2, and the amount of computation. Previous experience (Alabdulmohsin et al., 2022; OpenAI, 2023; Bi et al., 2024; Su et al., 2024) highlights the impressive predictability of scaling laws. Specifically, Eqn. 3 fitted on a collection of small models, training data, or computation can extrapolate to precisely predict the test loss of larger cases over orders of magnitudes. This enables practitioners to estimate the performance of a pretrained large language model without actually finishing the expensive runs. Recent development further shows various functional relationships between the performance of language models and a broader range of factors, including transfer learning (Hernandez et al., 2021), sparse architectures (Frantar et al., 2023), and repeated data (Muennighoff et al., 2024), consolidating the predictability of language model performance.
여기서 \(c\), \(k\), \(\alpha\)는 맞춤 파라미터이고 \(x\)는 모델 크기, 훈련 데이터 수, 훈련 단계2, 계산량 등이 될 수 있습니다. 이전 경험(Alabdulmohsin et al., 2022; OpenAI, 2023; Bi et al., 2024; Su et al., 2024)은 scaling laws의 인상적인 예측 가능성을 강조합니다. 특히, 소규모 모델, 훈련 데이터 또는 계산의 집합에 맞춰진 방정식 3은 몇 배에 걸쳐 더 큰 사례의 테스트 loss를 정확하게 예측하는 것으로 추정할 수 있습니다. 이를 통해 실무자는 값비싼 실행을 실제로 완료하지 않고도 사전 학습된 Large Language Model의 성능을 추정할 수 있습니다. 최근 개발은 transfer learning(Hernandez et al., 2021), 희소 아키텍처(Frantar et al., 2023), 반복 데이터(Muennighoff et al., 2024) 등 언어 모델의 성능과 더 광범위한 요인 간의 다양한 기능적 관계를 보여줌으로써 언어 모델 성능의 예측 가능성을 통합했습니다.
여기서 \(c\), \(k\), \(\알파\)는 맞춤 파라미터이고 \(x\)는 모델 크기, 훈련 데이터 수, 훈련 단계2, 계산량 등이 될 수 있습니다. 이전 경험(Alabdulmohsin et al., 2022; OpenAI, 2023; Bi et al., 2024; Su et al., 2024)은 스케일링 법칙의 인상적인 예측 가능성을 강조합니다. 특히, 소규모 모델, 훈련 데이터 또는 계산의 집합에 맞춰진 방정식 3은 몇 배에 걸쳐 더 큰 사례의 테스트 손실을 정확하게 예측하는 것으로 추정할 수 있습니다. 이를 통해 실무자는 값비싼 실행을 실제로 완료하지 않고도 사전 학습된 대규모 언어 모델의 성능을 추정할 수 있습니다. 최근 개발은 전이 학습(Hernandez et al., 2021), 희소 아키텍처(Frantar et al., 2023), 반복 데이터(Muennighoff et al., 2024) 등 언어 모델의 성능과 더 광범위한 요인 간의 다양한 기능적 관계를 보여줌으로써 언어 모델 성능의 예측 가능성을 통합했습니다.