Intuitively, the saturation of the singular values distribution observed only for smaller models in Section 4.2 questions the dimensionalities involved in the optimization of the LM head. In this section, we propose to empirically measure a critical value for the rank of the LM head, and to estimate the dimensionality of the contextual probability distribution the head's outputs are supposed to match.
직관적으로, 섹션 4.2에서 작은 모델에서만 관찰된 특이값 분포의 포화는 LM 헤드의 optimization에 관련된 차원에 의문을 제기합니다. 이 섹션에서는 LM 헤드의 순위에 대한 임계값을 경험적으로 측정하고 헤드의 출력이 일치해야 하는 문맥적 확률 분포의 차원을 추정할 것을 제안합니다.
직관적으로, 섹션 4.2에서 작은 모델에서만 관찰된 특이값 분포의 포화는 LM 헤드의 최적화에 관련된 차원에 의문을 제기합니다. 이 섹션에서는 LM 헤드의 순위에 대한 임계값을 경험적으로 측정하고 헤드의 출력이 일치해야 하는 문맥적 확률 분포의 차원을 추정할 것을 제안합니다.