In this paper, we introduce a principled framework to examine _highly accurate_ scaling laws concerning model size versus its _knowledge storage capacity_. It is intuitive that larger language models can store more knowledge, but does the total knowledge scale linearly with the model's size? What is the **exact constant** of this scaling? Understanding this constant is crucial for assessing the efficiency of transformer models in knowledge storage and how various factors (e.g., architecture, quantization, training duration, etc.) influence this capacity.
이 백서에서는 모델 크기와 _지식 저장 용량_에 관한 _고도로 정확한_ scaling laws를 검토하는 원칙적인 프레임워크를 소개합니다. 더 큰 언어 모델이 더 많은 지식을 저장할 수 있다는 것은 직관적이지만, 총 지식이 모델 크기에 따라 선형적으로 증가하나요? 이 scaling의 **정확한 상수**는 무엇인가요? 이 상수를 이해하는 것은 지식 저장에 있어 Transformer 모델의 효율성을 평가하고 다양한 요인(예: architecture, Quantization, 훈련 기간 등)이 이 용량에 미치는 영향을 평가하는 데 매우 중요합니다.
이 백서에서는 모델 크기와 _지식 저장 용량_에 관한 _고도로 정확한_ 스케일링 법칙을 검토하는 원칙적인 프레임워크를 소개합니다. 더 큰 언어 모델이 더 많은 지식을 저장할 수 있다는 것은 직관적이지만, 총 지식이 모델 크기에 따라 선형적으로 증가하나요? 이 스케일링의 **정확한 상수**는 무엇인가요? 이 상수를 이해하는 것은 지식 저장에 있어 트랜스포머 모델의 효율성을 평가하고 다양한 요인(예: 아키텍처, 양자화, 훈련 기간 등)이 이 용량에 미치는 영향을 평가하는 데 매우 중요합니다.