Some studies explore the multilingual capabilities of language models, focusing on their cross-lingual performance or structural commonalities between languages K et al. (2020); Doddapaneni et al. (2021); Chai et al. (2022). More recently, to understand the relation of certain abilities with specific model architecture especially the dominant Transformer Vaswani et al. (2017) architecture, studies such as Hou et al. (2023); Stolfo et al. (2023); Friedman et al. (2023) explore the reasoning abilities of LLMs with self-attention layers. While others like Geva et al. (2021); Dai et al. (2022); Meng et al. (2022) focus on the feed-forward layers, regarding them as key-value memories for storing factual knowledge. However, these works often examine components in isolation and lack a comprehensive framework that encompasses the entire end-to-end process. More importantly, the working mechanism of multilingualism is largely unaddressed in these interpretations.
일부 연구에서는 언어 모델의 다국어 기능을 탐구하는데, 이는 언어 간 성능이나 언어 간 구조적 공통점에 초점을 맞추고 있습니다 K et al. (2020); Doddapaneni et al. (2021); Chai et al. (2022). 최근에는 특정 능력과 특정 모델 아키텍처, 특히 지배적인 Transformer Vaswani et al. (2017) 아키텍처, Hou et al. (2023); Stolfo et al. (2023); Friedman et al. (2023)과 같은 연구에서는 self-attention layers를 사용하여 LLM의 추론 능력을 탐구합니다. 반면에 Geva et al. (2021); Dai et al. (2022); Meng et al. (2022)과 같은 다른 연구에서는 사실적 지식을 저장하는 key-value memories로 간주하는 feed-forward layers에 초점을 맞추고 있습니다. 그러나 이러한 작업은 종종 구성 요소를 개별적으로 조사하고 end-to-end 프로세스 전체를 포괄하는 포괄적인 프레임워크가 부족합니다. 더 중요한 것은 이러한 해석에서 다국어 기능의 작동 메커니즘이 거의 다루어지지 않았다는 점입니다.
일부 연구에서는 언어 모델의 다국어 기능을 탐구하는데, 이는 언어 간 성능이나 언어 간 구조적 공통점에 초점을 맞추고 있습니다 K et al. (2020); Doddapaneni et al. (2021); Chai et al. (2022). 최근에는 특정 능력과 특정 모델 아키텍처, 특히 지배적인 트랜스포머 Vaswani et al. (2017) 아키텍처, Hou et al. (2023); Stolfo et al. (2023); Friedman et al. (2023)과 같은 연구에서는 자기 주의 층을 사용하여 LLM의 추론 능력을 탐구합니다. 반면에 Geva et al. (2021); Dai et al. (2022); Meng et al. (2022)과 같은 다른 연구에서는 사실적 지식을 저장하는 키-값 메모리로 간주하는 피드포워드 레이어에 초점을 맞추고 있습니다. 그러나 이러한 작업은 종종 구성 요소를 개별적으로 조사하고 엔드투엔드 프로세스 전체를 포괄하는 포괄적인 프레임워크가 부족합니다. 더 중요한 것은 이러한 해석에서 다국어 기능의 작동 메커니즘이 거의 다루어지지 않았다는 점입니다.