**Intuition.** Suppose we query a language model on a large number of different random prefixes. Even though each output logit vector is an \(l\)-dimensional vector, they all actually lie in a \(h\)-dimensional subspace because the embedding projection layer up-projects from \(h\)-dimensions. Therefore, by querying the model "enough" (more than \(h\) times) we will eventually observe new queries are linearly dependent of past queries. We can then compute the dimensionality of this subspace (e.g., with SVD) and report this as the hidden dimensionality of the model.
**직관.** 다양한 무작위 접두사에 대해 언어 모델에 query하는 경우. 각 출력 logit 벡터는 \(l\)-차원 벡터이지만, embedding projection layer가 \(h\)-차원에서 상향 투영하기 때문에 실제로는 모두 \(h\)-차원 하위 공간에 위치합니다. 따라서 모델에 "충분히" 많이(h번 이상) query하면 결국 새로운 query가 과거 query와 선형적으로 의존하는 것을 관찰할 수 있습니다. 그런 다음 이 하위 공간의 차원을 계산(예: SVD)하여 이를 모델의 숨겨진 차원으로 보고할 수 있습니다.
**직관.** 다양한 무작위 접두사에 대해 언어 모델에 쿼리하는 경우. 각 출력 로짓 벡터는 \(l\)-차원 벡터이지만, 임베딩 투영 레이어가 \(h\)-차원에서 상향 투영하기 때문에 실제로는 모두 \(h\)-차원 하위 공간에 위치합니다. 따라서 모델에 "충분히" 많이(h번 이상) 쿼리하면 결국 새로운 쿼리가 과거 쿼리와 선형적으로 의존하는 것을 관찰할 수 있습니다. 그런 다음 이 하위 공간의 차원을 계산(예: SVD)하여 이를 모델의 숨겨진 차원으로 보고할 수 있습니다.