**Assumptions.** In Lemma 4.1, we assume that both the matrix with columns \(g_{\theta}\left(p_{i}\right)\) and the matrix \(\mathbf{W}\) have rank \(h\). These matrices have either \(h\) rows or \(h\) columns, so both have rank at most \(h\). Moreover, it is very unlikely that they have rank \(<h\): this would require the distribution of \(g_{\theta}\left(p\right)\) to be fully supported on a subspace of dimension \(<h\) across all \(p_{i}\) we query, or all \(h\ll l\) columns of \(\mathbf{W}\) to lie in the same \((h-1)\) dimensional subspace of \(\mathbf{R}^{l}\) (the output space of logits). In practice we find this assumption holds for all larger models (Table 2) and when different normalization layers are used (Appendix B.1).
**가정**. 레마 4.1에서는 열이 \(g_{\theta}\left(p_{i}\right)\)인 행렬과 행렬 \(\mathbf{W}\) 모두 rank \(h\)를 갖는다고 가정합니다. 이러한 행렬은 행 또는 열이 \(h\) 개이므로 최대 rank가 \(h\) 개입니다. 또한, 이 행렬이 rank \(<h\)를 갖는 것은 매우 가능성이 낮습니다: 이는 모든 \(p_{i}\)에 걸쳐 차원 \(<h\)의 하위 공간에 완전히 지원되거나 \(\mathbf{W}\)의 모든 \(h\ll l\) 열이 \(\mathbf{R}^{l}\)의 동일한 \((h-1)\) 차원 하위 공간에 위치해야 합니다(로그의 출력 공간). 실제로 더 큰 모델(표 2)과 다른 정규화 레이어를 사용할 때(부록 B.1) 이 가정이 유지되는 것을 확인했습니다.
**가정**. 레마 4.1에서는 열이 \(g_{\theta}\left(p_{i}\right)\)인 행렬과 행렬 \(\mathbf{W}\) 모두 순위 \(h\)를 갖는다고 가정합니다. 이러한 행렬은 행 또는 열이 \(h\) 개이므로 최대 순위가 \(h\) 개입니다. 또한, 이 행렬이 순위 \(<h\)를 갖는 것은 매우 가능성이 낮습니다: 이는 모든 \(p_{i}\)에 걸쳐 모든 \(p_{i}\)에 걸쳐 차원 \(<h\)의 하위 공간에 완전히 지원되거나 \(\mathbf{W}\)의 모든 \(h\ll l\) 열이 \(\mathbf{R}^{l}\)의 동일한 \((h-1)\) 차원 하위 공간에 위치해야 합니다(로그의 출력 공간). 실제로 더 큰 모델(표 2)과 다른 정규화 레이어를 사용할 때(부록 B.1) 이 가정이 유지되는 것을 확인했습니다.