Large language models (LLMs) demonstrate remarkable performance across a spectrum of languages. In this work, we delve into the question: How do LLMs handle multilingual? We introduce a framework that depicts LLMs' processing of multilingual inputs: In the first several layers, LLMs understand the question, converting multilingual inputs into English to facilitate the task-solving phase. In the intermediate layers, LLMs engage in problem-solving by thinking in English and incorporating multilingual knowledge to obtain factual content, leveraging the self-attention and feed-forward structures, respectively. In the last several layers, LLMs generate responses that align with the original language of the query. In addition, we investigate the existence of language-specific neurons when processing a certain language. To detect neurons activated by the input language, even without labels, we innovatively design a Parallel Language specific Neuron Detection (PLND) method that effectively measures the significance of neurons when handling multilingual inputs. By comprehensive ablation analysis through deactivating neurons of different layers and structures, we verify the framework that we propose.
대규모 언어 모델(LLMs)은 다양한 언어에서 놀라운 성능을 보여줍니다. 이 연구에서는 LLMs이 다국어를 어떻게 처리하는지에 대한 질문을 탐구합니다. 우리는 LLMs이 다국어 입력을 처리하는 것을 설명하는 프레임워크를 소개합니다: 처음 몇 개의 레이어에서 LLMs은 질문을 이해하고 다국어 입력을 영어로 변환하여 작업 해결 단계를 용이하게 합니다. 중간 레이어에서 LLMs은 영어로 사고하고 다국어 지식을 통합하여 사실적인 내용을 확보하는 등 문제 해결에 참여하며, 각각 self-attention 및 feed-forward 구조를 활용합니다. 마지막 몇 개의 레이어에서 LLMs은 쿼리의 원래 언어와 일치하는 응답을 생성합니다. 또한 특정 언어를 처리할 때 언어별 뉴런의 존재 여부를 조사합니다. 레이블이 없더라도 입력 언어에 의해 활성화되는 뉴런을 감지하기 위해 다국어 입력을 처리할 때 뉴런의 중요성을 효과적으로 측정하는 Parallel Language specific Neuron Detection (PLND) 방법을 혁신적으로 설계했습니다. 다양한 레이어와 구조의 뉴런을 비활성화하는 포괄적인 절제 분석을 통해 제안한 프레임워크를 검증합니다.
대규모 언어 모델(LLM)은 다양한 언어에서 놀라운 성능을 보여줍니다. 이 연구에서는 LLM이 다국어를 어떻게 처리하는지에 대한 질문을 탐구합니다. 우리는 LLM이 다국어 입력을 처리하는 것을 설명하는 프레임워크를 소개합니다: 처음 몇 개의 레이어에서 LLM은 질문을 이해하고 다국어 입력을 영어로 변환하여 작업 해결 단계를 용이하게 합니다. 중간 레이어에서 LLM은 영어로 사고하고 다국어 지식을 통합하여 사실적인 내용을 확보하는 등 문제 해결에 참여하며, 각각 자기 주의 및 피드 포워드 구조를 활용합니다. 마지막 몇 개의 레이어에서 LLM은 쿼리의 원래 언어와 일치하는 응답을 생성합니다. 또한 특정 언어를 처리할 때 언어별 뉴런의 존재 여부를 조사합니다. 레이블이 없더라도 입력 언어에 의해 활성화되는 뉴런을 감지하기 위해 다국어 입력을 처리할 때 뉴런의 중요성을 효과적으로 측정하는 병렬 언어별 뉴런 감지(PLND) 방법을 혁신적으로 설계했습니다. 다양한 레이어와 구조의 뉴런을 비활성화하는 포괄적인 절제 분석을 통해 제안한 프레임워크를 검증합니다.