Traditional theory on overparameterization suggests that scaling up model size in sufficiently trained models can enhance memorization of training data [6], improve generalization error [15, 27, 28], and better fit complex target functions [5, 23]. However, these results often overlook large constant or polynomial factors, leading to a significant discrepancy from practical outcomes.
전통적인 과매개변수화 이론은 충분히 훈련된 모델에서 모델 크기를 확장하면 훈련 데이터의 암기 능력을 향상시키고 [6], 일반화 오류를 개선하며 [15, 27, 28], 복잡한 목표 함수를 더 잘 맞출 수 있다고 제안합니다 [5, 23]. 그러나 이러한 결과는 종종 큰 상수 또는 다항식 요소를 간과하여 실제 결과와 상당한 차이를 초래합니다.
파라미터 과대화에 대한 전통적인 이론에 따르면 충분히 학습된 모델에서 모델 크기를 확장하면 학습 데이터의 암기력을 향상시키고[6], 일반화 오류를 개선하며[15, 27, 28], 복잡한 목표 함수에 더 잘 맞출 수 있다고 제안합니다[5, 23]. 그러나 이러한 결과는 종종 큰 상수 또는 다항식 요인을 간과하여 실제 결과와 상당한 차이를 초래합니다.