Multilingual language models have demonstrated a high level of zero-shot or few-shot cross-lingual transferability across a wide range of tasks Wu and Dredze (2019); Pires et al. (2019); Winata et al. (2021). This means that they can acquire the language capability from supervised data in one language and apply it to another without or with few additional training data. The mechanism behind the strong cross-lingual performance has been investigated by the researchers. It has been shown that multilingual language models have inferred universal rules applicable to any language Artetxe et al. (2020); Chi et al. (2020); Conneau et al. (2020). Contrary to the common hypothesis that multilingual multilingual language models such as mBERT Devlin et al. (2019) rely on a shared subword vocabulary and joint pretraining across multiple languages Pires et al. (2019); Cao et al. (2020); Wu and Dredze (2019), researchers have developed new understandings on the models, emphasizing the models' ability to learn universal semantic abstractions Artetxe et al. (2020); Chi et al. (2020). In terms of the factors that influence cross-lingual performance, researchers have associated transferability with parameter sharing Conneau et al. (2020); Dufter and Schutze (2020); Wu et al. (2022) and language distance Conneau et al. (2020); Eronen et al. (2023). We here further investigate the cross-lingual transferability of language models with new LLaMA-based experiments, presenting outcomes from a different aspect.
다국어 언어 모델은 다양한 작업에서 높은 수준의 zero-shot 또는 few-shot 교차 언어 전송성을 입증했습니다 Wu와 Dredze(2019); Pires 등(2019); Winata 등(2021). 즉, 한 언어의 supervised data에서 언어 기능을 습득하여 추가 학습 데이터가 없거나 거의 없는 상태에서 다른 언어에 적용할 수 있습니다. 강력한 언어 간 성능의 기반이 되는 메커니즘을 연구자들이 조사했습니다. 다국어 언어 모델이 모든 언어에 적용되는 보편적인 규칙을 추론한 것으로 나타났습니다 Artetxe et al. (2020); Chi et al. (2020); Conneau et al. (2020). mBERT와 같은 다국어 다국어 언어 모델이 공유 서브워드 어휘와 여러 언어에 대한 joint pretraining에 의존한다는 일반적인 가설과는 달리 Pires et al. (2019); Cao et al. (2020); Wu와 Dredze(2019), 연구자들은 모델의 보편적인 의미 추상화 학습 능력을 강조하면서 모델에 대한 새로운 이해를 발전시켰습니다 Artetxe et al. (2020); Chi et al. (2020). 언어 간 성능에 영향을 미치는 요인 측면에서 연구자들은 매개변수 공유 Conneau et al. (2020); Dufter and Schutze (2020); Wu et al. (2022) 및 언어 거리 Conneau et al. (2020); Eronen et al. (2023). 여기서는 새로운 LLaMA 기반 실험을 통해 언어 모델의 언어 간 전이성을 추가로 조사하여 다른 측면에서의 결과를 제시합니다.
다국어 언어 모델은 다양한 작업에서 높은 수준의 제로 샷 또는 몇 개의 샷 교차 언어 전송성을 입증했습니다 Wu와 Dredze(2019); Pires 등(2019); Winata 등(2021). 즉, 한 언어의 지도 데이터에서 언어 기능을 습득하여 추가 학습 데이터가 없거나 거의 없는 상태에서 다른 언어에 적용할 수 있습니다. 강력한 언어 간 성능의 기반이 되는 메커니즘을 연구자들이 조사했습니다. 다국어 언어 모델이 모든 언어에 적용되는 보편적인 규칙을 추론한 것으로 나타났습니다 Artetxe et al. (2020); Chi et al. (2020); Conneau et al. (2020). mBERT와 같은 다국어 다국어 언어 모델이 공유 서브워드 어휘와 여러 언어에 대한 공동 사전 학습에 의존한다는 일반적인 가설과는 달리 Pires et al. (2019); Cao et al. (2020); Wu와 Dredze(2019), 연구자들은 모델의 보편적인 의미 추상화 학습 능력을 강조하면서 모델에 대한 새로운 이해를 발전시켰습니다 Artetxe et al. (2020); Chi et al. (2020). 언어 간 성능에 영향을 미치는 요인 측면에서 연구자들은 매개변수 공유 Conneau et al. (2020); Dufter and Schutze (2020); Wu et al. (2022) 및 언어 거리 Conneau et al. (2020); Eronen et al. (2023). 여기서는 새로운 LLaMA 기반 실험을 통해 언어 모델의 언어 간 전이성을 추가로 조사하여 다른 측면에서의 결과를 제시합니다.