We focus on the maximal expressiveness of a lower-dimensional head: when provided with _perfect_ contextual representations \(x_{i}^{*}\), what is the maximal performance level of a linear language modeling head of maximal rank \(d\)?
저차원 head의 최대 표현성, 즉 _완벽한_ 문맥 표현 \(x_{i}^{*}\)이 제공될 때 최대 순위 \(d\)의 linear language modeling head의 최대 성능 수준은 얼마인지에 초점을 맞춥니다.
저차원 헤드의 최대 표현성, 즉 _완벽한_ 문맥 표현 \(x_{i}^{*}\)이 제공될 때 최대 순위 \(d\)의 선형 언어 모델링 헤드의 최대 성능 수준은 얼마인지에 초점을 맞춥니다.