Furthermore, we find that deactivating the \(k\)-th neuron of \(W_{down}\) is equivalent to deactivating the \(k\)-th neuron in \(W_{up}\) as they all set \(h_{\text{ffn}}[k]=0\). Therefore \(\text{Imp}(W_{down}|x)\) can be obtain by Equation (5).
게다가, \(W_{down}\)의 \(k\)-번째 뉴런을 비활성화하는 것은 \(W_{up}\)의 \(k\)-번째 뉴런을 비활성화하는 것과 동일합니다. 이는 모두 \(h_{\text{ffn}}[k]=0\)으로 설정되기 때문입니다. 따라서 \(\text{Imp}(W_{down}|x)\)는 식 (5)에 의해 얻을 수 있습니다.
또한, \(W_{down}\)의 \(k\)-번째 뉴런을 비활성화하는 것은 \(W_{up}\)에서 \(k\)-번째 뉴런을 비활성화하는 것과 같으며, 모두 \(h_{\text{ffn}}[k]=0\)을 설정합니다. 따라서 (\text{Imp}(W_{down}|x)\)는 방정식 (5)를 통해 구할 수 있습니다.