Anisotropy is a common form of representation degeneration that has been observed among various small language models. It consists in reduced angular variability of the representation distribution at a given layer. Previous works (Ethayarajh, 2019; Godey et al., 2024) notice that almost all layers of small Transformers language models are anisotropic.
이방성은 다양한 소규모 언어 모델에서 관찰된 일반적인 형태의 표현 변성입니다. 이는 주어진 레이어에서 표현 분포의 각도 변동성 감소로 구성됩니다. 이전 연구(Ethayarajh, 2019; Godey et al., 2024)에 따르면 소형 Transformers 언어 모델의 거의 모든 레이어가 이방성을 띠는 것으로 나타났습니다.
이방성은 다양한 소규모 언어 모델에서 관찰된 일반적인 형태의 표현 변성입니다. 이는 주어진 레이어에서 표현 분포의 각도 변동성 감소로 구성됩니다. 이전 연구(Ethayarajh, 2019; Godey et al., 2024)에 따르면 소형 트랜스포머 언어 모델의 거의 모든 레이어가 이방성을 띠는 것으로 나타났습니다.