_Remark 1.6_.: Since 2bit/param is obtained after sufficient training, training longer _may not_ further improve model capacity, _but quantization can_. While not covered in this paper, our framework also provides a principled playground to compare different quantization methods. * Section 9: How sparsity (MoE) affects model capacity. Mixture-of-experts (MoE) models offer faster inference than dense models but often underperform dense models with the same total parameter count (not effective parameters). We show that this performance drop is likely not due to a lack of knowledge storage capability. * Result 9: MoE models, even with 32 experts, only reduce 1.3x in capacity compared to the base scaling laws, despite using just 8.8% of the total parameters during inference. * Section 10: How junk knowledge affects model capacity. Not all pretrain data are equally useful. Much of the internet data lacks valuable knowledge for training language models [24], while knowledge-rich sources like Wikipedia represent only a small fraction of the training tokens. We explore the impact on model capacity by conducting a controlled experiment with both useful and "junk" data. * Result 10+11: Junk data significantly reduces model capacity. As an example, with a 1:7 ratio of "useful to junk" training tokens, capacity for useful knowledge _loses by a factor of 20_x, even when useful knowledge is exposed 100 times.8 Footnote 8: The loss factor improves to 3x/1.5x/1.3x with 300/600/1000 exposures of useful knowledge, compared to Result 4 which involves training without junk for only 100 exposures. Result 12]An _effective mitigation_ is to prepend a special token to all useful knowledge. This is akin to adding a domain name like wikipedia.org at the start of every Wikipedia paragraph; the model _autonomously_ identifies high-quality data without prior knowledge of valuable domains. In the example above, the loss factor improves from 20x to 2x.
_Remark 1.6_.: 2bit/param은 충분한 훈련을 거친 후에 얻어지므로 훈련을 더 길게 하면 모델 용량이 더 향상되지 않을 수 있지만 quantization은 그렇지 않습니다. 이 논문에서는 다루지 않았지만, 저희 프레임워크는 다양한 quantization 방법을 비교할 수 있는 원칙적인 플레이그라운드도 제공합니다. * 섹션 9: 스파스성(MoE)이 모델 용량에 미치는 영향. Mixture-of-experts (MoE) 모델은 밀도 모델보다 빠른 추론을 제공하지만, 총 파라미터 수(효과적인 파라미터)가 동일한 밀도 모델보다 성능이 저하되는 경우가 많습니다. 이러한 성능 저하는 지식 저장 기능 부족 때문이 아닐 가능성이 높다는 것을 보여줍니다. * 결과 9: 32명의 전문가를 보유한 MoE 모델은 추론 시 총 파라미터의 8.8%만 사용함에도 불구하고 기본 scaling laws에 비해 용량이 1.3배만 감소합니다. * 섹션 10: 정크 지식이 모델 용량에 미치는 영향. 모든 사전 학습 데이터가 똑같이 유용한 것은 아닙니다. 인터넷 데이터의 대부분은 언어 모델 학습에 유용한 지식이 부족하고[24], 위키피디아와 같은 지식이 풍부한 소스는 학습 토큰의 극히 일부에 불과합니다. 유용한 데이터와 "정크" 데이터로 제어된 실험을 수행하여 모델 용량에 미치는 영향을 살펴봅니다. * 결과 10+11: 정크 데이터는 모델 용량을 크게 감소시킵니다. 예를 들어, "유용한 데이터와 정크 데이터"의 비율이 1:7인 경우 유용한 지식이 100배 노출되더라도 유용한 지식에 대한 용량은 20배 감소합니다.8 각주 8: 정크 없이 훈련하는 결과 12]의 경우 300/600/1000 노출 시 유용한 지식의 손실 계수는 3배/1.5배/1.3배로 개선됩니다. 유용한 지식을 100번만 노출시켰을 때보다 개선되었습니다. 결과 12]의 경우 모든 유용한 지식 앞에 특수 토큰을 붙이는 것이 _효과적인 완화책_입니다. 이는 모든 위키백과 단락의 시작 부분에 wikipedia.org과 같은 도메인 이름을 추가하는 것과 같으며, 모델은 가치 있는 도메인에 대한 사전 지식 없이도 고품질 데이터를 _자율적으로_ 식별합니다. 위의 예에서 손실 계수는 20배에서 2배로 개선되었습니다.
_Remark 1.6_.: 2bit/param은 충분한 훈련을 거친 후에 얻어지므로 훈련을 더 길게 하면 모델 용량이 더 향상되지 않을 수 있지만 양자화는 그렇지 않습니다. 이 논문에서는 다루지 않았지만, 저희 프레임워크는 다양한 양자화 방법을 비교할 수 있는 원칙적인 플레이그라운드도 제공합니다. * 섹션 9: 스파스성(MoE)이 모델 용량에 미치는 영향. 전문가 혼합(MoE) 모델은 밀도 모델보다 빠른 추론을 제공하지만, 총 파라미터 수(효과적인 파라미터)가 동일한 밀도 모델보다 성능이 저하되는 경우가 많습니다. 이러한 성능 저하는 지식 저장 기능 부족 때문이 아닐 가능성이 높다는 것을 보여줍니다. * 결과 9: 32명의 전문가를 보유한 MoE 모델은 추론 시 총 파라미터의 8.8%만 사용함에도 불구하고 기본 스케일링 법칙에 비해 용량이 1.3배만 감소합니다. * 섹션 10: 정크 지식이 모델 용량에 미치는 영향. 모든 사전 학습 데이터가 똑같이 유용한 것은 아닙니다. 인터넷 데이터의 대부분은 언어 모델 학습에 유용한 지식이 부족하고[24], 위키피디아와 같은 지식이 풍부한 소스는 학습 토큰의 극히 일부에 불과합니다. 유용한 데이터와 "정크" 데이터로 제어된 실험을 수행하여 모델 용량에 미치는 영향을 살펴봅니다. * 결과 10+11: 정크 데이터는 모델 용량을 크게 감소시킵니다. 예를 들어, "유용한 데이터와 정크 데이터"의 비율이 1:7인 경우 유용한 지식이 100배 노출되더라도 유용한 지식에 대한 용량은 20배 감소합니다.8 각주 8: 정크 없이 훈련하는 결과 12]의 경우 300/600/1000 노출 시 유용한 지식의 손실 계수는 3배/1.5배/1.3배로 개선됩니다. 유용한 지식을 100번만 노출시켰을 때보다 개선되었습니다. 결과 12]의 경우 모든 유용한 지식 앞에 특수 토큰을 붙이는 것이 _효과적인 완화책_입니다. 이는 모든 위키백과 단락의 시작 부분에 위키피디아.org과 같은 도메인 이름을 추가하는 것과 같으며, 모델은 가치 있는 도메인에 대한 사전 지식 없이도 고품질 데이터를 _자율적으로_ 식별합니다. 위의 예에서 손실 계수는 20배에서 2배로 개선되었습니다.