Figure 4 sheds light on a specific pattern of spectral saturation, roughly co-occurring with the performance saturation phenomenon. It shows that the singular value distribution progressively flattens during training, and nearly reaches uniformity before abruptly evolving towards a spiked distribution with a high maximal singular value, relatively to the other ones.
Figure 4는 성능 포화 현상과 대략적으로 동시에 발생하는 특정한 스펙트럼 포화 패턴을 조명합니다. 이는 훈련 중에 특이값 분포가 점진적으로 평탄해지며, 다른 값들에 비해 높은 최대 특이값을 가진 스파이크 분포로 갑작스럽게 변화하기 전에 거의 균일 상태에 도달하는 것을 보여줍니다.
그림 4는 성능 포화 현상과 거의 동시에 발생하는 스펙트럼 포화의 특정 패턴을 조명합니다. 훈련 중에 특이값 분포가 점진적으로 평평해지고, 거의 균일해지다가 다른 특이값에 비해 상대적으로 높은 최대 특이값을 가진 스파이크 분포로 갑자기 진화하는 것을 보여줍니다.