input. We denote the input of \(i\)-th layer in Transformer (Vaswani et al., 2017) as \(h_{i}\), with the corresponding output represented as \(h_{i+1}=T_{i}(h_{i})\), where \(T_{i}\) represents the parameters of the \(i\)-th layer. For a specific neuron, denoted as \(N_{k}^{(i)}\), within the \(i\)-th layer--whether located in the attention or feed-forward layer--the importance is quantified as the difference between output when \(N_{k}^{(i)}\) is either activated or deactivated.
입력. 우리는 Transformer (Vaswani et al., 2017)에서 \(i\)-번째 레이어의 입력을 \(h_{i}\)로 표시하고, 그에 해당하는 출력은 \(h_{i+1}=T_{i}(h_{i})\)로 표시하며, 여기서 \(T_{i}\)는 \(i\)-번째 레이어의 파라미터를 나타냅니다. 특정 뉴런, 즉 \(i\)-번째 레이어 내의 \(N_{k}^{(i)}\), Attention 또는 피드포워드 레이어에 위치하든, 중요도는 \(N_{k}^{(i)}\)가 활성화되었을 때와 비활성화되었을 때의 출력 차이로 정량화됩니다.
입력. 트랜스포머(Vaswani et al., 2017)에서 \(i\)-번째 레이어의 입력을 \(h_{i}\)로 표시하고, 그에 해당하는 출력은 \(h_{i+1}=T_{i}(h_{i})\로 표시하며, 여기서 \(T_{i}\)는 \(i\)-번째 레이어의 파라미터를 나타냅니다. 특정 뉴런, 즉 \(i\)-번째 레이어 내의 \(N_{k}^{(i)}\), 관심도 또는 피드포워드 레이어에 위치하든, 중요도는 \(N_{k}^{(i)}\)가 활성화되었을 때와 비활성화되었을 때의 출력 차이로 정량화됩니다.