Figure 5 shows that singular distributions evolve differently for models using less than 410M parameters than for the larger ones. The heads of small models see their singular value distributions become increasingly uniform, up to a point where they degenerate abruptly, which again correlates with the LM performance drop. The singular value distributions of larger models tend to be more stable, and do not display clear monotonic patterns throughout training.
Figure 5는 410M 미만의 파라미터를 사용하는 모델과 더 큰 모델의 경우 단일 분포가 다르게 진화하는 것을 보여줍니다. 작은 모델의 헤드는 단일 값 분포가 점점 더 균일해지다가 갑자기 퇴화하는 지점에 도달하며, 이는 LM 성능 저하와 다시 상관관계를 보입니다. 더 큰 모델의 단일 값 분포는 더 안정적인 경향을 보이며, 훈련 내내 명확한 단조 패턴을 나타내지 않습니다.
그림 5는 410M 미만의 파라미터를 사용하는 모델의 경우 특이 분포가 더 큰 모델의 경우와 다르게 진화한다는 것을 보여줍니다. 작은 모델의 헤드는 특이값 분포가 점점 더 균일해지는 것을 볼 수 있으며, 이는 다시 LM 성능 저하와 상관관계가 있습니다. 더 큰 모델의 특이값 분포는 더 안정적인 경향이 있으며, 훈련 전반에 걸쳐 명확한 단조로운 패턴을 보이지 않습니다.