Figure 8: Final loss with trained rank-constrained heads (mimicking \(W^{s}_{d}\)), as a function of the theoretical \(W\)-error for rank \(d\) on the head of the Pythia-1B model.
그림 8: Pythia-1B 모델의 헤드에서 순위 \(d\)에 대한 이론적 \(W\)-오류의 함수로서, 학습된 순위 제한 헤드(모방 \(W^{s}_{d}\))를 사용한 최종 Loss를 보여줍니다.
그림 8: 피티아-1B 모델의 헤드에서 순위 \(d\)에 대한 이론적 \(W\)-오류의 함수로서, 학습된 순위 제한 헤드(모방 \(W^{s}_{d}\))를 사용한 최종 손실을 보여줍니다.