In Figure 2, we observe that most layers of Transformers models are anisotropic to some extent, regardless of the scale. Nevertheless, there seems to be a dichotomy in the last layer, where models are either nearly isotropic or highly anisotropic. Interestingly, we notice that the dichotomy aligns with the one of the saturation phenomenon for the Pythia suite, where only models containing 160M or fewer parameters seem affected by last-layer anisotropy.
그림 2에서 우리는 스케일에 관계없이 Transformer 모델의 대부분의 레이어가 어느 정도 이방성을 가지고 있음을 관찰할 수 있습니다. 그럼에도 불구하고 마지막 레이어에서는 모델이 거의 등방성이거나 매우 이방성인 이분법이 있는 것으로 보입니다. 흥미롭게도 이 이분법은 Pythia 제품군의 포화 현상과 일치하는 것으로 나타났는데, 160M 이하의 파라미터를 포함하는 모델만 마지막 레이어 이방성의 영향을 받는 것으로 보입니다.
그림 2에서 우리는 스케일에 관계없이 트랜스포머 모델의 대부분의 레이어가 어느 정도 이방성을 가지고 있음을 관찰할 수 있습니다. 그럼에도 불구하고 마지막 레이어에서는 모델이 거의 등방성이거나 매우 이방성인 이분법이 있는 것으로 보입니다. 흥미롭게도 이 이분법은 파이티아 제품군의 포화 현상과 일치하는 것으로 나타났는데, 160M 이하의 파라미터를 포함하는 모델만 마지막 레이어 이방성의 영향을 받는 것으로 보입니다.