Knowledge Question Answering TaskDeactivation methods: (i) randomly sampled neurons in the feed-forward structure of task-solving layers. (ii) randomly sampled neurons in the task-solving layer. (iii) randomly sampled neurons in all layers. (iv) language-specific neurons in the attention structure of task-solving layers. (v) language-specific neurons in the feed-forward structure of task-solving layers.
지식 질문 답변 과제비활성화 방법: (i) 과제 해결 레이어의 feed-forward 구조에서 무작위로 샘플링된 뉴런. (ii) 과제 해결 레이어에서 무작위로 샘플링된 뉴런. (iii) 모든 레이어에서 무작위로 샘플링된 뉴런. (iv) 과제 해결 레이어의 attention 구조에서 언어별 뉴런. (v) 과제 해결 레이어의 feed-forward 구조에서 언어별 뉴런.
지식 질문 답변 과제비활성화 방법: (i) 과제 해결 레이어의 피드 포워드 구조에서 무작위로 샘플링된 뉴런. (ii) 과제 해결 레이어에서 무작위로 샘플링된 뉴런. (iii) 모든 레이어에서 무작위로 샘플링된 뉴런. (iv) 과제 해결 레이어의 주의 구조에서 언어별 뉴런. (v) 과제 해결 레이어의 피드 포워드 구조에서 언어별 뉴런.