Figure 3 illustrates a neat correlation between the emergence of the performance saturation phenomenon and the appearance of anisotropy in the last-layer representations of the models. It also shows that anisotropy increases abruptly around the saturation point during training. Moreover, we see here that on a specific in-domain corpus, the models quickly lose performance at saturation and never seem to fully recover from this explosion.
그림 3은 성능 포화 현상의 출현과 모델의 마지막 레이어 표현에서 anisotropy의 출현 사이의 깔끔한 상관관계를 보여준다. 또한 훈련 중 포화 지점을 중심으로 anisotropy가 갑자기 증가하는 것을 보여준다. 또한, 우리는 여기서 특정 도메인 코퍼스에서 모델이 포화 상태에서 성능을 빠르게 잃고 이 폭발로부터 완전히 회복하지 못하는 것을 볼 수 있다.
그림 3은 성능 포화 현상의 출현과 모델의 마지막 레이어 표현에서 이방성의 출현 사이의 깔끔한 상관관계를 보여준다. 또한 훈련 중 포화 지점을 중심으로 이방성이 갑자기 증가하는 것을 보여준다. 또한, 우리는 여기서 특정 도메인 코퍼스에서 모델이 포화 상태에서 성능을 빠르게 잃고 이 폭발로부터 완전히 회복하지 못하는 것을 볼 수 있다.