Average cosine-similarity is a valuable measure of the uniformity of a distribution, but including other metrics can help to better capture the complexity of some manifolds (Rudman et al., 2022). Moreover, it only focuses on the output embeddings of the language models, and not on their weights. In this section, we extend our analysis by studying the singular value distributions of the language modeling heads, to link our empirical observations to our theoretical findings. In Figure 4, we display the singular value distributions of the final predictive layer weights \(W\) along training.
평균 cosine-similarity는 분포의 균일성을 측정하는 중요한 척도이지만, 다른 metrics를 포함하면 일부 매니폴드의 복잡성을 더 잘 포착하는 데 도움이 될 수 있습니다(Rudman et al., 2022). 또한 언어 모델의 weights가 아닌 언어 모델의 출력 embeddings에만 초점을 맞추고 있습니다. 이 섹션에서는 언어 모델링 heads의 singular value distributions를 연구하여 경험적 관찰을 이론적 발견과 연결함으로써 분석을 확장합니다. 그림 4에는 최종 예측 계층 weights \(W\)의 singular value distributions를 훈련에 따라 표시합니다.
평균 코사인 유사도는 분포의 균일성을 측정하는 중요한 척도이지만, 다른 메트릭을 포함하면 일부 매니폴드의 복잡성을 더 잘 포착하는 데 도움이 될 수 있습니다(Rudman et al., 2022). 또한 언어 모델의 가중치가 아닌 언어 모델의 출력 임베딩에만 초점을 맞추고 있습니다. 이 섹션에서는 언어 모델링 헤드의 특이값 분포를 연구하여 경험적 관찰을 이론적 발견과 연결함으로써 분석을 확장합니다. 그림 4에는 최종 예측 계층 가중치 \(W\)의 특이값 분포를 훈련에 따라 표시합니다.