In Figure 8, we compare the results of the head bottleneck experiment of the Pythia-1B model in Section 5.1 to the \(W\)-error on the head of the same model as the bottleneck dimension \(d\) evolves. It shows that the loss gap grows slowly with the \(W\)-error, implying that even when the allowed rank would lead to a poor approximation of \(W\), the performance can still remain acceptable. We notice that the performance starts decreasing when the \(W\)-error outgrows 0.6.
그림 8에서는 섹션 5.1의 Pythia-1B 모델의 헤드 병목 실험 결과를 병목 차원 \(d\)가 진화함에 따라 동일한 모델의 헤드에 대한 \(W\)-error와 비교하여 보여줍니다. 손실 갭은 \(W\)-error에 따라 천천히 증가하여 허용된 순위가 \(W\)의 잘못된 approximation으로 이어질 때에도 성능은 여전히 허용 가능한 수준을 유지할 수 있음을 시사합니다. \(W\)-error가 0.6을 초과하면 성능이 감소하기 시작하는 것을 알 수 있습니다.
그림 8에서는 섹션 5.1의 Pythia-1B 모델의 헤드 병목 실험 결과를 병목 차원 \(d\)가 진화함에 따라 동일한 모델의 헤드에 대한 \(W\) 오차와 비교하여 보여줍니다. 손실 갭은 \(W\) 오차에 따라 천천히 증가하여 허용된 순위가 \(W\)의 잘못된 근사치로 이어질 때에도 성능은 여전히 허용 가능한 수준을 유지할 수 있음을 시사합니다. W\)-오차가 0.6을 초과하면 성능이 감소하기 시작하는 것을 알 수 있습니다.