The subsequent question that arises is whether LLMs engage all available neurons of certain components or only a particular subset when processing a single language, which essentially investigates the presence of "language-specific neurons". To tackle this question, it is crucial to pinpoint which neurons are activated by the input, even without explicit labels of certain tasks. Therefore, we further develop a novel approach called Parallel Language-specific Neuron Detection (PLND), which effectively measures the significance of individual neurons in relation to the input provided. With PLND, we can identify language-specific neurons by feeding free text corpus of that language into the model and isolating neurons that consistently activate in responses. Experimental results show that by deactivating language-specific neurons which account for only \(0.13\%\) of all neurons, LLMs' performance on a summarization task could drop by \(99\%\).
이어서 발생하는 질문은 LLM이 단일 언어를 처리할 때 사용 가능한 뉴런을 모두 사용하는지 아니면 특정 하위 집합만 사용하는지에 대한 것으로, 이는 본질적으로 "language-specific neurons"의 존재 여부를 조사하는 것입니다. 이 질문을 해결하기 위해서는 특정 작업에 대한 명시적인 레이블이 없더라도 어떤 뉴런이 입력에 의해 활성화되는지 정확히 파악하는 것이 중요합니다. 따라서 제공된 입력과 관련하여 개별 뉴런의 중요성을 효과적으로 측정하는 새로운 접근 방식인 Parallel Language-specific Neuron Detection (PLND)을 추가로 개발했습니다. PLND를 통해 해당 언어의 자유 텍스트 말뭉치를 모델에 입력하고 응답에서 일관되게 활성화되는 뉴런을 분리하여 language-specific neurons을 식별할 수 있습니다. 실험 결과, 전체 뉴런의 0.13%만 차지하는 language-specific neurons을 비활성화하면 요약 작업에서 LLM의 성능이 99%까지 떨어질 수 있음을 보여주었습니다.
이어서 발생하는 질문은 LLM이 단일 언어를 처리할 때 사용 가능한 뉴런을 모두 사용하는지 아니면 특정 하위 집합만 사용하는지에 대한 것으로, 이는 본질적으로 "언어별 뉴런"의 존재 여부를 조사하는 것입니다. 이 질문을 해결하기 위해서는 특정 작업에 대한 명시적인 레이블이 없더라도 어떤 뉴런이 입력에 의해 활성화되는지 정확히 파악하는 것이 중요합니다. 따라서 제공된 입력과 관련하여 개별 뉴런의 중요성을 효과적으로 측정하는 새로운 접근 방식인 병렬 언어별 뉴런 감지(PLND)를 추가로 개발했습니다. PLND를 통해 해당 언어의 자유 텍스트 말뭉치를 모델에 입력하고 응답에서 일관되게 활성화되는 뉴런을 분리하여 언어별 뉴런을 식별할 수 있습니다. 실험 결과, 전체 뉴런의 0.13%만 차지하는 언어별 뉴런을 비활성화하면 요약 작업에서 LLM의 성능이 99%까지 떨어질 수 있음을 보여주었습니다.