* We characterize the performance saturation of small language models through evaluation and extrapolation of the scaling laws;
* We find that the representations of smaller models degenerate concurrently with this saturation. We shed light on _rank saturation_, i.e. the explosion of the entropy of singular value distributions of small LM prediction heads;
* We empirically verify that the rank of the target contextual distribution is usually high. Moreover, we observe that regardless of the expressiveness of the output representations of a model, a linear head \(W\) substantially affects performance when \(rank(W)<1000\);
* We theoretically quantify the performance limitation induced by a low-rank linear language modeling head.
* Scaling laws의 평가 및 추정을 통해 소규모 언어 모델의 성능 포화를 특성화합니다;
* 작은 모델의 표현이 이러한 포화와 동시에 변질된다는 것을 발견합니다. 우리는 _rank saturation_, 즉 작은 LM 예측 헤드의 특이값 분포의 엔트로피 폭발에 대해 조명합니다;
* 우리는 목표 컨텍스트 분포의 순위가 일반적으로 높다는 것을 경험적으로 검증합니다. 또한 모델의 출력 표현의 표현력에 관계없이 선형 헤드 \(W\)가 \(rank(W)<1000\)일 때 성능에 상당한 영향을 미치는 것을 관찰합니다;
* 저순위 선형 언어 모델링 헤드에 의해 유발되는 성능 제한을 이론적으로 정량화합니다.
* 스케일링 법칙의 평가 및 추정을 통해 소규모 언어 모델의 성능 포화를 특성화합니다;
* 작은 모델의 표현이 이러한 포화와 동시에 변질된다는 것을 발견합니다. 우리는 _랭크 포화_, 즉 작은 LM 예측 헤드의 특이값 분포의 엔트로피 폭발에 대해 조명합니다;
* 우리는 목표 컨텍스트 분포의 순위가 일반적으로 높다는 것을 경험적으로 검증합니다. 또한 모델의 출력 표현의 표현력에 관계없이 선형 헤드 \(W\)가 \(rank(W)<1000\)일 때 성능에 상당한 영향을 미치는 것을 관찰합니다;
* 저순위 선형 언어 모델링 헤드에 의해 유발되는 성능 제한을 이론적으로 정량화합니다.