In this section, we aim at identifying a formal link between the inherent dimensionality of the contextual distribution and the performance bottleneck that can be attributed to the lower dimensionality of the output representations of a language model. To that end, we conceptualize a language modeling head optimized on _ideal_ contextual representations, and we explore the relationship between its spectral properties and the performance gap induced when training a low-rank head on the same representations.
이 섹션에서는 언어 모델의 출력 표현의 낮은 차원성에 기인할 수 있는 성능 병목 현상과 contextual distribution의 내재적 차원성 사이의 공식적인 연관성을 파악하는 것을 목표로 합니다. 이를 위해 _이상적인_ contextual representations에 최적화된 언어 모델링 헤드를 개념화하고, 그 스펙트럼 특성과 동일한 표현에 대해 저순위 헤드를 훈련할 때 유발되는 성능 격차 사이의 관계를 탐색합니다.
이 섹션에서는 언어 모델의 출력 표현의 낮은 차원성에 기인할 수 있는 성능 병목 현상과 컨텍스트 분포의 내재적 차원성 사이의 공식적인 연관성을 파악하는 것을 목표로 합니다. 이를 위해 _이상적인_ 컨텍스트 표현에 최적화된 언어 모델링 헤드를 개념화하고, 그 스펙트럼 특성과 동일한 표현에 대해 저순위 헤드를 훈련할 때 유발되는 성능 격차 사이의 관계를 탐색합니다.