Figure 4: Evolution of the singular value distributions of the LM heads of Pythia models during training, normalized by the maximum singular value.
Figure 4: Pythia 모델의 LM 헤드의 특이값 분포가 훈련 중에 어떻게 변화하는지, 최대 특이값으로 정규화하여 보여줍니다.
그림 4: 훈련 중 Pythia 모델의 LM 헤드의 특이값 분포의 변화를 최대 특이값으로 정규화한 그림입니다.