Furthermore, we find that deactivating language-specific neurons in the understanding layer influences the performance in English a little while significantly decreasing the performance in non-English languages. When deactivating language-specific neurons in the task-solving layer, both English and non-English languages are significantly reduced while deactivating language-specific neurons in the generation layer influences a little for both English and non-English languages. Therefore, we prove that the first several layers are responsible for understanding because deactivated neurons just disable LLMs on the NLU task in non-English languages. Furthermore, disabling language-specific neurons in the task-solving layer shows that LLMs rely on English, as their performance drops across all languages.
게다가, 이해 층에서 언어 특화 뉴런을 비활성화하면 영어 성능에는 약간의 영향을 미치지만 비영어권 언어의 성능은 크게 감소하는 것을 발견했습니다. 과제 해결 층에서 언어 특화 뉴런을 비활성화하면 영어와 비영어권 언어 모두에서 성능이 크게 감소하는 반면, 생성 층에서 언어 특화 뉴런을 비활성화하면 영어와 비영어권 언어 모두에 약간의 영향을 미칩니다. 따라서, 첫 몇 개의 층이 이해를 담당한다는 것을 증명할 수 있습니다. 왜냐하면 비활성화된 뉴런이 비영어권 언어의 NLU 과제에서 LLM을 단순히 비활성화시키기 때문입니다. 또한, 과제 해결 층에서 언어 특화 뉴런을 비활성화하는 것은 LLM이 영어에 의존하고 있음을 보여줍니다. 왜냐하면 모든 언어에서 성능이 떨어지기 때문입니다.
또한 이해 계층의 언어별 뉴런을 비활성화하면 영어 성능에는 약간의 영향을 미치고 비영어 언어 성능은 크게 감소하는 것으로 나타났습니다. 과제 해결 계층의 언어별 뉴런을 비활성화하면 영어와 비영어 모두에서 성능이 크게 감소하고, 생성 계층의 언어별 뉴런을 비활성화하면 영어와 비영어 모두에서 약간의 영향을 미칩니다. 따라서 처음 몇 개의 레이어는 비영어 언어의 NLU 작업에서 뉴런을 비활성화하면 LLM이 비활성화되기 때문에 이해를 담당한다는 것을 증명했습니다. 또한 과제 해결 계층에서 언어별 뉴런을 비활성화하면 모든 언어에서 성능이 저하되므로 LLM이 영어에 의존한다는 것을 보여줍니다.