We investigated the scaling laws of language models, specifically the relationship between model size and the total bits of knowledge stored. Our findings reveal a _precise, universal_ scaling law: a sufficiently-trained transformer (i.e., one whose training loss has plateau-ed) can store 2 bits of knowledge per parameter, even when quantized to int8, which is only 1/4 away from the information-theoretical maximum. We also examined how these scaling laws are influenced by various hyperparameters, including training duration, model architectures, floating-point precision, sparsity constraints like MoE, and data signal-noise ratios.
우리는 언어 모델의 scaling laws, 특히 모델 크기와 저장된 총 지식 비트 간의 관계를 조사했습니다. 연구 결과, 충분히 훈련된 Transformer(즉, 훈련 Loss가 정체된 Transformer)는 정보 이론적 최대치에서 1/4에 불과한 int8로 Quantization된 경우에도 파라미터당 2비트의 지식을 저장할 수 있다는 정확하고 보편적인 scaling law를 발견했습니다. 또한 이러한 scaling laws가 훈련 기간, 모델 아키텍처, 부동 소수점 정밀도, MoE와 같은 희소성 제약 조건, 데이터 신호 대 잡음 비율 등 다양한 하이퍼파라미터에 의해 어떻게 영향을 받는지 살펴봤습니다.
우리는 언어 모델의 스케일링 법칙, 특히 모델 크기와 저장된 총 지식 비트 간의 관계를 조사했습니다. 연구 결과, 충분히 훈련된 트랜스포머(즉, 훈련 손실이 정체된 트랜스포머)는 정보 이론적 최대치에서 1/4에 불과한 int8로 양자화된 경우에도 파라미터당 2비트의 지식을 저장할 수 있다는 정확하고 보편적인 스케일링 법칙을 발견했습니다. 또한 이러한 스케일링 법칙이 훈련 기간, 모델 아키텍처, 부동 소수점 정밀도, MoE와 같은 희소성 제약 조건, 데이터 신호 대 잡음 비율 등 다양한 하이퍼파라미터에 의해 어떻게 영향을 받는지 살펴봤습니다.