_Remark 1.4_.: **Our framework offers a principled playground to compare models.** This contrasts with traditional comparisons based on loss/perplexity, which can produce debatable conclusions.6 Controlled data also reveal more significant differences between models.7 Footnote 6: A model might achieve better perplexity by performing _much better_ on simpler data but slightly poorer on complex data, or by excelling in reasoning tasks but not in knowledge storage. Our results offer a more nuanced view: GatedMLP doesn’t affect frequently encountered knowledge (with 1000 exposures) but does impact moderately rare knowledge (with 100 exposures). * Section 8: How quantization affects model capacity. We applied GPTQ[10] to quantize models from the base scaling laws to int8 or int4. Surprisingly,
* Result 8: Quantizing to int8 does not compromise model capacity (even for models on the boundary of 2bit/param); however, quantizing to int4 reduces capacity to 0.7bit/param.
_Remark 1.4_.: **우리의 프레임워크는 모델을 비교할 수 있는 원칙적인 플레이그라운드를 제공합니다.** 이는 논쟁의 여지가 있는 결론을 도출할 수 있는 Loss/Perplexity 기반의 기존 비교와 대조적입니다.6 또한 제어된 데이터는 모델 간의 더 큰 차이를 드러냅니다.7 각주 6: 모델은 더 단순한 데이터에서 _훨씬 더 나은_ 성능을 발휘하되 복잡한 데이터에서는 약간 더 나쁜 성능을 발휘하거나 추론 작업은 뛰어나지만 지식 저장에는 뛰어나지 않음으로써 더 나은 Perplexity를 달성할 수 있습니다. 우리의 결과는 보다 미묘한 시각을 제공합니다: GatedMLP는 자주 접하는 지식(1000회 노출)에는 영향을 미치지 않지만, 적당히 희귀한 지식(100회 노출)에는 영향을 미칩니다. * 섹션 8: Quantization가 모델 용량에 미치는 영향. 우리는 GPTQ[10]를 적용하여 기본 Scaling laws에서 int8 또는 int4로 모델을 Quantize했습니다. 놀랍게도
* 결과 8: int8로 Quantize해도 모델 용량이 손상되지 않지만(파라미터 2비트 경계에 있는 모델도 마찬가지), int4로 Quantize하면 용량이 0.7bit/파라미터로 감소합니다.
_Remark 1.4_.: **우리의 프레임워크는 모델을 비교할 수 있는 원칙적인 플레이그라운드를 제공합니다.** 이는 논쟁의 여지가 있는 결론을 도출할 수 있는 손실/난해성 기반의 기존 비교와 대조적입니다.6 또한 제어된 데이터는 모델 간의 더 큰 차이를 드러냅니다.7 각주 6: 모델은 더 단순한 데이터에서 _훨씬 더 나은_ 성능을 발휘하되 복잡한 데이터에서는 약간 더 나쁜 성능을 발휘하거나 추론 작업은 뛰어나지만 지식 저장에는 뛰어나지 않음으로써 더 나은 난해성을 달성할 수 있습니다. 우리의 결과는 보다 미묘한 시각을 제공합니다: 게이트드MLP는 자주 접하는 지식(1000회 노출)에는 영향을 미치지 않지만, 적당히 희귀한 지식(100회 노출)에는 영향을 미칩니다. * 섹션 8: 양자화가 모델 용량에 미치는 영향. 우리는 GPTQ[10]를 적용하여 기본 스케일링 법칙에서 int8 또는 int4로 모델을 양자화했습니다. 놀랍게도
* 결과 8: int8로 양자화해도 모델 용량이 손상되지 않지만(파라미터 2비트 경계에 있는 모델도 마찬가지), int4로 양자화하면 용량이 0.7비트/파라미터로 감소합니다.