We empirically confirm that the rank of such a mapping can be expected to be relatively high compared to regular hidden dimension choices. Moreover, we conduct experiments to measure the impact of constraining the rank of the LM head on the performance of a large language model. Our results show that performance noticeably drops when using a hidden dimension below 1000. We further analyze the saturation phenomenon through the lens of spectral analysis and find that the emergence of last-layer anisotropy that only affects small models can be correlated with saturation. We also show that the LM heads of small models concurrently suffer from _spectral_ saturation, i.e. a uniformization of singular values that leads to a degenerated state.
이러한 매핑의 순위가 일반적인 숨겨진 차원 선택에 비해 상대적으로 높을 것으로 예상할 수 있음을 경험적으로 확인합니다. 또한 대규모 언어 모델의 성능에 대한 LM head의 순위 제한의 영향을 측정하기 위한 실험을 수행합니다. 그 결과 1000 미만의 숨겨진 차원을 사용할 경우 성능이 눈에 띄게 저하되는 것을 확인했습니다. 또한 스펙트럼 분석의 렌즈를 통해 포화 현상을 분석한 결과, 작은 모델에만 영향을 미치는 마지막 레이어의 이방성이 나타나는 것이 포화 현상과 상관관계가 있음을 발견했습니다. 또한 작은 모델의 LM head가 _spectral_ 포화, 즉 퇴화 상태로 이어지는 특이값의 균일화를 동시에 겪고 있음을 보여줍니다.
이러한 매핑의 순위가 일반적인 숨겨진 차원 선택에 비해 상대적으로 높을 것으로 예상할 수 있음을 경험적으로 확인합니다. 또한 대규모 언어 모델의 성능에 대한 LM 헤드의 순위 제한의 영향을 측정하기 위한 실험을 수행합니다. 그 결과 1000 미만의 숨겨진 차원을 사용할 경우 성능이 눈에 띄게 저하되는 것을 확인했습니다. 또한 스펙트럼 분석의 렌즈를 통해 포화 현상을 분석한 결과, 작은 모델에만 영향을 미치는 마지막 레이어의 이방성이 나타나는 것이 포화 현상과 상관관계가 있음을 발견했습니다. 또한 작은 모델의 LM 헤드가 _스펙트럼_ 포화, 즉 퇴화 상태로 이어지는 특이값의 균일화를 동시에 겪고 있음을 보여줍니다.