In Figure 6, we observe that perplexity starts to noticeably decrease when the rank of the language modeling head \(W\) is inferior to 1000, _regardless of the model size_. This hints that the head is not a major performance bottleneck for models with greater hidden dimensions, but that it may hurt performance for models with smaller ones independently of the quality of the output representations.
그림 6에서 우리는 언어 모델링 헤드의 순위가 모델 크기에 관계없이 1000보다 낮을 때 perplexity가 눈에 띄게 감소하기 시작하는 것을 관찰할 수 있습니다. 이는 헤드가 숨겨진 차원이 큰 모델의 경우 성능 병목 현상이 크지 않지만 출력 표현의 품질과 관계없이 차원이 작은 모델의 성능에 부정적인 영향을 미칠 수 있음을 시사합니다.
그림 6에서 우리는 언어 모델링 헤드의 순위가 모델 크기에 관계없이 1000보다 낮을 때 난해함이 눈에 띄게 감소하기 시작하는 것을 관찰할 수 있습니다. 이는 헤드가 숨겨진 차원이 큰 모델의 경우 성능 병목 현상이 크지 않지만 출력 표현의 품질과 관계없이 차원이 작은 모델의 성능에 부정적인 영향을 미칠 수 있음을 시사합니다.