Small language models can be affected by performance saturation during training. We find that this phenomenon can be explained by an inherent difficulty in mapping a low-dimensional output representation space to a high-rank contextual probability distribution through a linear language modeling head. Indeed, we show a theoretical link between the performance gap induced by a smaller hidden dimension and the spectral properties of the contextual probability distribution.
작은 언어 모델은 훈련 중 성능 포화 현상의 영향을 받을 수 있습니다. 이러한 현상은 선형 언어 모델링 헤드를 통해 저차원 출력 표현 공간을 고순위 contextual probability distribution에 매핑하는 데 내재된 어려움으로 설명할 수 있다는 것을 발견했습니다. 실제로, 더 작은 숨겨진 차원으로 인해 유발되는 성능 격차와 contextual probability distribution의 스펙트럼 특성 사이의 이론적 연관성을 보여 줍니다.
작은 언어 모델은 훈련 중 성능 포화 현상의 영향을 받을 수 있습니다. 이러한 현상은 선형 언어 모델링 헤드를 통해 저차원 출력 표현 공간을 고순위 컨텍스트 확률 분포에 매핑하는 데 내재된 어려움으로 설명할 수 있다는 것을 발견했습니다. 실제로, 더 작은 숨겨진 차원으로 인해 유발되는 성능 격차와 컨텍스트 확률 분포의 스펙트럼 특성 사이의 이론적 연관성을 보여 줍니다.