Figure 2: Our extraction attack recovers the hidden dimension size by looking for a sharp drop in singular values, visualized as a spike in the difference between consecutive singular values. On Pythia-1.4B, a 2048 dimensional model, the spike occurs at 2047 singular values.
그림 2: 우리의 추출 공격은 연속된 singular values 사이의 차이로 시각화되는 singular values의 급격한 하락을 찾아 숨겨진 차원 크기를 복구합니다. 2048차원 모델인 Pythia-1.4B의 경우 2047개의 singular values에서 스파이크가 발생합니다.
그림 2: 우리의 추출 공격은 연속된 특이값 사이의 차이로 시각화되는 특이값의 급격한 하락을 찾아 숨겨진 차원 크기를 복구합니다. 2048차원 모델인 Pythia-1.4B의 경우 2047개의 특이값에서 스파이크가 발생합니다.