This unaddressed uncertainty stems from the challenges inherent in training multiple models of varying sizes and data sizes in traditional scaling experiments. Previously, if the average cost of training one model size on one data size is \(C\), then conducting the scaling experiments with \(m\) model sizes and \(m\) data sizes takes approximately \(O(m^{2})C\).
이러한 불확실성은 기존의 scaling 실험에서 다양한 크기와 데이터 크기의 여러 모델을 훈련하는 데 내재된 어려움에서 비롯됩니다. 이전에는 한 데이터 크기에서 한 모델 크기를 훈련하는 데 드는 평균 비용이 \(C\)라면, \(m\) 모델 크기와 \(m\) 데이터 크기로 scaling 실험을 수행하는 데 약 \(O(m^{2})C\)가 소요됩니다.
이러한 불확실성은 기존의 확장성 실험에서 다양한 크기와 데이터 크기의 여러 모델을 훈련하는 데 내재된 어려움에서 비롯됩니다. 이전에는 한 데이터 크기에서 한 모델 크기를 훈련하는 데 드는 평균 비용이 \(C\)라면, \(m\) 모델 크기와 \(m\) 데이터 크기로 확장성 실험을 수행하는 데 약 \(O(m^{2})C\)가 소요됩니다.