With the proposed PLND method, we then conduct extensive experiments to validate our hypothesis illustrated in Figure 2. We selectively disable neuron groups to study their effect on LLM multilingualism. Notably, deactivating the language-specific neurons in the understanding layer leaves English XQuAD performance stable but decreases non-English performance by \(14\%\). Other tasks including reasoning, knowledge question answering and NLG also exhibit the same characteristics. Moreover, enhancing the multilingual capabilities of LLMs can be achieved by fine-tuning language-specific neurons with merely \(200\) contextual examples. This method results in a substantial increase in model performance, with a \(7.4\%\) relative improvement on the XQuAD and an \(8.9\%\) enhancement on XSum, reducing the size of the required training dataset significantly.
제안된 PLND 방법을 통해 그림 2에 설명된 가설을 검증하기 위한 광범위한 실험을 수행합니다. 뉴런 그룹을 선택적으로 비활성화하여 LLM multilingualism에 미치는 영향을 연구합니다. 특히 이해 계층의 언어별 뉴런을 비활성화하면 영어 XQuAD 성능은 안정적으로 유지되지만 비영어 성능은 \(14\%\) 감소합니다. 추론, 지식 question answering 및 NLG를 포함한 다른 작업도 동일한 특성을 보입니다. 또한, LLMs의 다국어 기능을 향상시키려면 문맥 예시 \(200개\)만으로 언어별 뉴런을 Fine-tuning하면 됩니다. 이 방법을 사용하면 XQuAD에서 상대적으로 \(7.4\%\) 향상되고 XSum에서 \(8.9\%\) 향상되어 모델 성능이 크게 향상되며 필요한 학습 데이터 세트의 크기를 크게 줄일 수 있습니다.
제안된 PLND 방법을 통해 그림 2에 설명된 가설을 검증하기 위한 광범위한 실험을 수행합니다. 뉴런 그룹을 선택적으로 비활성화하여 LLM 다국어에 미치는 영향을 연구합니다. 특히 이해 계층의 언어별 뉴런을 비활성화하면 영어 XQuAD 성능은 안정적으로 유지되지만 비영어 성능은 \(14\%\) 감소합니다. 추론, 지식 질문 답변 및 NLG를 포함한 다른 작업도 동일한 특성을 보입니다. 또한, LLMs의 다국어 기능을 향상시키려면 문맥 예시 \(200개\)만으로 언어별 뉴런을 미세 조정하면 됩니다. 이 방법을 사용하면 XQuAD에서 상대적으로 \(7.4\%\) 향상되고 XSum에서 \(8.9\%\) 향상되어 모델 성능이 크게 향상되며 필요한 학습 데이터 세트의 크기를 크게 줄일 수 있습니다.