In this work, we introduce a hypothesis suggesting that LLMs address multilingualism by first translating queries into English, processing them using English with the help of multilingual knowledge, and then translating the responses back into the original language. To validate this framework, we introduce a novel method for detecting language-specific neurons and conduct extensive ablation studies. These studies involve selectively deactivating various neuron sets to observe their impact on the multilingual capabilities of LLMs. Additionally, we refine the multilingual performance of LLMs by fine-tuning these language-specific neurons, which only take up a small part of the neurons.
이 연구에서는 LLM이 먼저 쿼리를 영어로 번역하고, 다국어 지식의 도움을 받아 영어를 사용하여 처리한 다음, 응답을 원래 언어로 다시 번역하여 다국어를 처리한다는 가설을 소개합니다. 이 프레임워크의 유효성을 검증하기 위해 언어별 뉴런을 탐지하는 새로운 방법을 소개하고 광범위한 절제 연구를 수행합니다. 이러한 연구에는 다양한 뉴런 세트를 선택적으로 비활성화하여 LLM의 다국어 기능에 미치는 영향을 관찰하는 작업이 포함됩니다. 또한 뉴런의 일부에 불과한 이러한 언어별 뉴런을 Fine-tuning하여 LLM의 다국어 성능을 개선합니다.
이 연구에서는 LLM이 먼저 쿼리를 영어로 번역하고, 다국어 지식의 도움을 받아 영어를 사용하여 처리한 다음, 응답을 원래 언어로 다시 번역하여 다국어를 처리한다는 가설을 소개합니다. 이 프레임워크의 유효성을 검증하기 위해 언어별 뉴런을 탐지하는 새로운 방법을 소개하고 광범위한 절제 연구를 수행합니다. 이러한 연구에는 다양한 뉴런 세트를 선택적으로 비활성화하여 LLM의 다국어 기능에 미치는 영향을 관찰하는 작업이 포함됩니다. 또한 뉴런의 일부에 불과한 이러한 언어별 뉴런을 미세 조정하여 LLM의 다국어 성능을 개선합니다.