Recent advances in language modeling consist in pretraining highly parameterized neural networks on extremely large web-mined text corpora. Training and inference with such models can be costly in practice, which incentivizes the use of smaller counterparts. However, it has been observed that smaller models can suffer from saturation, characterized as a drop in performance at some advanced point in training followed by a plateau. In this paper, we find that such saturation can be explained by a mismatch between the hidden dimension of smaller models and the high rank of the target contextual probability distribution. This mismatch affects the performance of the linear prediction head used in such models through the well-known softmax bottleneck phenomenon. We measure the effect of the softmax bottleneck in various settings and find that models based on less than 1000 hidden dimensions tend to adopt degenerate latent representations in late pretraining, which leads to reduced evaluation performance.
최근 언어 모델링의 발전은 매우 큰 웹 마이닝 텍스트 코퍼라에 대해 고도로 매개변수화된 신경망을 pretraining하는 것으로 이루어져 있습니다. 이러한 모델로 훈련하고 추론하는 데는 실제로 많은 비용이 들 수 있으므로 더 작은 모델을 사용하도록 장려합니다. 그러나 작은 모델은 훈련의 어느 정도 진행된 시점에서 성능이 저하되고 정체되는 특징을 가진 포화 현상을 겪을 수 있다는 사실이 관찰되었습니다. 이 논문에서는 이러한 포화 현상이 소형 모델의 숨겨진 차원과 목표 컨텍스트 확률 분포의 높은 순위 사이의 불일치로 설명할 수 있다는 사실을 발견했습니다. 이러한 불일치는 잘 알려진 softmax bottleneck 현상을 통해 이러한 모델에 사용되는 선형 예측 헤드의 성능에 영향을 미칩니다. 다양한 설정에서 softmax bottleneck 현상의 영향을 측정한 결과, 1000개 미만의 숨겨진 차원을 기반으로 하는 모델은 후반부 pretraining에서 퇴화된 잠재 표현을 채택하는 경향이 있으며, 이는 평가 성능 저하로 이어진다는 사실을 발견했습니다.
최근 언어 모델링의 발전은 매우 큰 웹 마이닝 텍스트 코퍼라에 대해 고도로 매개변수화된 신경망을 사전 학습하는 것으로 이루어져 있습니다. 이러한 모델로 훈련하고 추론하는 데는 실제로 많은 비용이 들 수 있으므로 더 작은 모델을 사용하도록 장려합니다. 그러나 작은 모델은 훈련의 어느 정도 진행된 시점에서 성능이 저하되고 정체되는 특징을 가진 포화 현상을 겪을 수 있다는 사실이 관찰되었습니다. 이 논문에서는 이러한 포화 현상이 소형 모델의 숨겨진 차원과 목표 컨텍스트 확률 분포의 높은 순위 사이의 불일치로 설명할 수 있다는 사실을 발견했습니다. 이러한 불일치는 잘 알려진 소프트맥스 병목 현상을 통해 이러한 모델에 사용되는 선형 예측 헤드의 성능에 영향을 미칩니다. 다양한 설정에서 소프트맥스 병목 현상의 영향을 측정한 결과, 1000개 미만의 숨겨진 차원을 기반으로 하는 모델은 후반부 사전 학습에서 퇴화된 잠재 표현을 채택하는 경향이 있으며, 이는 평가 성능 저하로 이어진다는 사실을 발견했습니다.