NotationsTables 4 to 7 present the results of deactivating certain neurons, where "Under" denotes the understanding layers, "S-ATTN" and "S-FFN" correspond to the self-attention and the feed-forward within the task-solving layers respectively, "Gen" refers to the generation layers. The term "Random" is used to describe deactivating randomly chosen neurons, whereas "Lang-Spec" refers to the deactivation of language-specific neurons. We also present the gap between the original performance and performance after deactivation for English (\(\Delta_{\text{Eng}}\)) and averaged non-English languages (\(\Delta_{\text{n-Eng}}\)), respectively. A single metric \(\Delta\) is then introduced as \(\Delta_{\text{Eng}}-\Delta_{\text{n-Eng}}\), where a high value indicates such deactivation operation does not bring much impact to the English performance but lead to performance drop in non-English.
표 4~7은 특정 뉴런을 비활성화한 결과를 나타내며, 여기서 "Under"는 이해 계층을 나타내고, "S-ATTN" 및 "S-FFN"은 각각 작업 해결 계층 내의 self-attention 및 feed-forward에 해당하며, "Gen"은 생성 계층을 의미합니다. "Random"이라는 용어는 무작위로 선택된 뉴런을 비활성화하는 것을 설명하는 데 사용되며, "Lang-Spec"은 언어별 뉴런을 비활성화하는 것을 의미합니다. 또한 영어(\(\Delta_{\text{Eng}}\))와 평균 비영어(\(\Delta_{\text{n-Eng}}\))에 대해 원래 성능과 비활성화 후 성능 간의 차이를 각각 제시합니다. 그런 다음 단일 메트릭 \(\Delta\)는 \(\Delta_{\text{Eng}}-\Delta_{\text{n-Eng}}\)로 도입되며, 여기서 높은 값은 해당 비활성화 작업이 영어 성능에는 큰 영향을 미치지 않지만 비영어에서는 성능 저하로 이어짐을 나타냅니다.
표 4~7은 특정 뉴런을 비활성화한 결과를 나타내며, 여기서 "Under"는 이해 계층을 나타내고, "S-ATTN" 및 "S-FFN"은 각각 작업 해결 계층 내의 자기 주의 및 피드 포워드에 해당하며, "Gen"은 생성 계층을 의미합니다. "Random"이라는 용어는 무작위로 선택된 뉴런을 비활성화하는 것을 설명하는 데 사용되며, "Lang-Spec"은 언어별 뉴런을 비활성화하는 것을 의미합니다. 또한 영어(\(\Delta_{\text{Eng}}\))와 평균 비영어(\(\Delta_{\text{n-Eng}}\))에 대해 원래 성능과 비활성화 후 성능 간의 차이를 각각 제시합니다. 그런 다음 단일 메트릭 \(\Delta\)는 \(\Delta_{\text{Eng}}-\Delta_{\text{n-Eng}}\)로 도입되며, 여기서 높은 값은 해당 비활성화 작업이 영어 성능에는 큰 영향을 미치지 않지만 비영어에서는 성능 저하로 이어짐을 나타냅니다.