Another limitation of this work is the loose nature of the mathematical connection that we establish between the dimensionality of the ideal language modeling head and the rank-constrained performance (cf. Theorem 5.3). Moreover, it can also be argued that considering _ideal_\(x_{i}^{*}\) representations is an ill-defined notion. We argue that the reasoning behind Theorem 5.3 could be applied to any contextual representations, as the _ideal_ nature of \(x_{i}^{*}\) is not necessary in the demonstrations. The word _ideal_ reflects that our observations hold for \(x_{i}^{*}\) representations obtained from _any underlying model_, to an extent that depends on the structure that these representations impose on the \(W^{*}\) matrix for a given training set \(\mathcal{T}\).
이 연구의 또 다른 한계는 이상적인 언어 모델링 헤드의 차원성과 순위 제한 성능 간의 수학적 연결이 느슨하다는 점입니다(참조: 정리 5.3). 또한, _이상적인_ \(x_{i}^{*}\) 표현을 고려하는 것이 잘 정의되지 않은 개념이라는 주장도 있을 수 있습니다. 우리는 정리 5.3의 논리가 _이상적인_ \(x_{i}^{*}\)의 특성이 시연에 필요하지 않기 때문에 어떤 맥락적 표현에도 적용될 수 있다고 주장합니다. _이상적인_ 이라는 단어는 우리의 관찰이 주어진 훈련 세트 \(\mathcal{T}\)에 대해 이러한 표현이 \(W^{*}\) 행렬에 부여하는 구조에 따라 _어떤 기본 모델_에서 얻은 \(x_{i}^{*}\) 표현에 대해 성립함을 반영합니다.
이 작업의 또 다른 한계는 이상적인 언어 모델링 헤드의 차원과 순위 제한 성능 간에 설정한 수학적 연관성이 느슨하다는 점입니다(cf. 정리 5.3). 또한 _이상_\(x_{i}^{*}\) 표현을 고려하는 것은 잘 정의되지 않은 개념이라고 주장할 수도 있습니다. 우리는 정리 5.3의 추론이 데모에서 _이상적_ 특성이 필요하지 않기 때문에 모든 컨텍스트 표현에 적용될 수 있다고 주장합니다. '이상적'이라는 단어는 주어진 훈련 세트 \mathcal{T}\)에 대해 이러한 표현이 \(W^{*}\) 행렬에 부과하는 구조에 따라 달라지는 정도까지, _모든 기본 모델_에서 얻은 \(x_{i}^{*}\) 표현에 대해 우리의 관찰이 유지됨을 반영합니다.