Nevertheless, the evaluation of the Pythia model suite (Biderman et al., 2023) has shown that training small models on very large corpora could lead to _saturation_, in the form of a performance degradation in late pretraining. In this paper, we explore this saturation phenomenon through the lens of representation degeneration, and find that both phenomena strongly correlate. We further demonstrate that representation degeneration strongly occurs in the language modeling head of small models, and we theoretically and empirically show how a linear language modeling head can represent a performance bottleneck for architectures based on small hidden dimensions.
그럼에도 불구하고 Pythia 모델 제품군(Biderman et al., 2023)에 대한 평가에 따르면 매우 큰 말뭉치에 대해 작은 모델을 훈련하면 후반 pretraining 단계에서 성능이 저하되는 형태의 _포화_로 이어질 수 있습니다. 이 논문에서는 표현 변성의 렌즈를 통해 이러한 포화 현상을 탐구하고 두 현상이 강하게 상관관계가 있음을 발견했습니다. 또한 표현 변성이 소형 모델의 language modeling head에서 강하게 발생한다는 것을 입증했으며, linear language modeling head가 작은 숨겨진 차원을 기반으로 하는 아키텍처에 성능 병목 현상을 일으키는 방법을 이론적, 경험적으로 보여 줍니다.
그럼에도 불구하고 Pythia 모델 제품군(Biderman et al., 2023)에 대한 평가에 따르면 매우 큰 말뭉치에 대해 작은 모델을 훈련하면 후반 전처리 단계에서 성능이 저하되는 형태의 _포화_로 이어질 수 있습니다. 이 논문에서는 표현 변성의 렌즈를 통해 이러한 포화 현상을 탐구하고 두 현상이 강하게 상관관계가 있음을 발견했습니다. 또한 표현 변성이 소형 모델의 언어 모델링 헤드에서 강하게 발생한다는 것을 입증했으며, 선형 언어 모델링 헤드가 작은 숨겨진 차원을 기반으로 하는 아키텍처에 성능 병목 현상을 일으키는 방법을 이론적, 경험적으로 보여 줍니다.