Figure 1: SVD can recover the hidden dimensionality of a model when the final output layer dimension is greater than the hidden dimension. Here we extract the hidden dimension (2048) of the Pythia 1.4B model. We can precisely identify the size by obtaining slightly over 2048 full logit vectors.
Figure 1: SVD는 최종 출력 레이어의 차원이 숨겨진 차원보다 클 때 모델의 숨겨진 차원을 복원할 수 있습니다. 여기서 우리는 Pythia 1.4B 모델의 숨겨진 차원(2048)을 추출합니다. 약간 넘는 2048개의 전체 로짓 벡터를 얻음으로써 크기를 정확하게 식별할 수 있습니다.
그림 1: SVD는 최종 출력 레이어 차원이 숨겨진 차원보다 클 때 모델의 숨겨진 차원을 복구할 수 있습니다. 여기서는 Pythia 1.4B 모델의 숨겨진 차원(2048)을 추출합니다. 약간 2048개의 전체 로짓 벡터를 얻으면 정확하게 크기를 식별할 수 있습니다.