Using PLND, we feed a corpus in a specific language to LLMs and identify the neurons that are consistently activated. These language-specific neurons are responsible for processing queries in that language. To ascertain whether these neurons are genuinely language-specific, we assess the performance of LLMs in corresponding languages when these neurons are deactivated versus when the same number of randomly sampled neurons is deactivated. We utilize the summarization task with XLSum dataset Hasan et al. (2021) to showcase the capabilities of LLMs, aiming to demonstrate that the resulting output can be devoid of meaning.
PLND를 사용하여 특정 언어의 코퍼스를 LLM에 입력하고 일관되게 활성화되는 뉴런을 식별합니다. 이러한 언어 특화 뉴런은 해당 언어의 쿼리를 처리하는 역할을 합니다. 이러한 뉴런이 진정으로 언어 특화인지 확인하기 위해, 해당 뉴런이 비활성화되었을 때와 동일한 수의 무작위로 샘플링된 뉴런이 비활성화되었을 때의 LLM 성능을 평가합니다. 우리는 XLSum 데이터셋 Hasan et al. (2021)을 사용한 요약 작업을 통해 LLM의 능력을 보여주며, 결과 출력이 의미를 잃을 수 있음을 입증하려고 합니다.
PLND를 사용하여 특정 언어의 말뭉치를 LLM에 공급하고 일관되게 활성화되는 뉴런을 식별합니다. 이러한 언어별 뉴런은 해당 언어로 된 쿼리를 처리하는 역할을 합니다. 이러한 뉴런이 진정으로 언어별인지 확인하기 위해 이러한 뉴런을 비활성화했을 때와 무작위로 샘플링한 동일한 수의 뉴런을 비활성화했을 때 해당 언어에서 LLM의 성능을 평가합니다. XLSum 데이터 세트 Hasan et al. (2021)의 요약 작업을 활용하여 LLM의 기능을 보여주고, 그 결과물이 의미가 없을 수 있음을 보여주는 것을 목표로 합니다.