We find that the estimated rank of \(W\) is non-negligible with respect to the usual magnitude of hidden dimensions. In the next section, we analyze the connection between the dimensionality of an ideal linear language modeling head and performance from a theoretical perspective.
우리는 \(W\)의 추정 순위가 일반적인 숨겨진 차원의 크기에 비해 무시할 수 없는 수준이라는 것을 발견했습니다. 다음 섹션에서는 이론적 관점에서 이상적인 linear language modeling head의 차원과 성능 사이의 연관성을 분석합니다.
우리는 \(W\)의 추정 순위가 일반적인 숨겨진 차원의 크기에 비해 무시할 수 없는 수준이라는 것을 발견했습니다. 다음 섹션에서는 이론적 관점에서 이상적인 선형 언어 모델링 헤드의 차원과 성능 사이의 연관성을 분석합니다.