One of the main challenges of LLMs is the resource gap, as they are mainly pretrained on English corpus and have limited access to data from other languages. English dominates the field of NLP as an extremely high-resource language with the most raw text data from various domains, leaving few of the over 7000 languages of the world represented in the field Joshi et al. (2020). This creates a disparity in language models' capability to handle different languages. Previous findings indicate that LLMs have difficulty comprehending and generating non-English texts, particularly in low-resource languagesNguyen et al. (2023); Zhu et al. (2023); Huang et al. (2023). To address the resource gap, several solutions have been proposed or implemented by researchers and practitioners. One possible solution is to increase the amount of data available from various languages and fields, and make it accessible for pretraining and evaluating LLMs Lin et al. (2022); Chen et al. (2022); Cahyawijaya et al. (2023). However, this approach incurs significant computational expenses and the resource gap persists. Alternatively, multilingual language models trained on texts from different languages concurrently, such as mBERT Devlin et al. (2019) and XLM-R Conneau et al. (2020), have been introduced to bridge the gap effectively.
LLM의 주요 과제 중 하나는 주로 영어 말뭉치로 pretraining되고 다른 언어의 데이터에 대한 접근성이 제한되어 있다는 점입니다. 영어는 다양한 영역의 원시 텍스트 데이터가 가장 많이 존재하는 고레소스 언어로서 NLP 분야를 지배하고 있으며, 전 세계 7000개 이상의 언어 중 이 분야에 대표되는 언어는 극히 일부에 불과합니다 Joshi et al. (2020). 이로 인해 다양한 언어를 처리하는 언어 모델의 능력에 차이가 생깁니다. 이전 연구에 따르면 LLM은 특히 저자원 언어에서 영어가 아닌 텍스트를 이해하고 생성하는 데 어려움을 겪는 것으로 나타났습니다Nguyen et al. (2023); Zhu et al. (2023); Huang et al. (2023). 리소스 격차를 해소하기 위해 연구자와 실무자들이 여러 가지 해결책을 제안하거나 구현하고 있습니다. 한 가지 가능한 해결책은 다양한 언어와 분야에서 사용할 수 있는 데이터의 양을 늘리고 이를 LLM pretraining 및 평가에 사용할 수 있도록 하는 것입니다 Lin et al. (2022); Chen et al. (2022); Cahyawijaya et al. (2023). 그러나 이러한 접근 방식은 상당한 계산 비용이 소요되며 리소스 격차는 지속됩니다. 또는 mBERT Devlin et al.과 같이 다양한 언어의 텍스트에 대해 동시에 학습된 다국어 언어 모델이 소개되었습니다. (2019) 및 XLM-R Conneau et al. (2020)을 통해 격차를 효과적으로 해소했습니다.
LLM의 주요 과제 중 하나는 주로 영어 말뭉치로 사전 학습되고 다른 언어의 데이터에 대한 접근성이 제한되어 있다는 점입니다. 영어는 다양한 영역의 원시 텍스트 데이터가 가장 많이 존재하는 고레소스 언어로서 NLP 분야를 지배하고 있으며, 전 세계 7000개 이상의 언어 중 이 분야에 대표되는 언어는 극히 일부에 불과합니다 Joshi et al. (2020). 이로 인해 다양한 언어를 처리하는 언어 모델의 능력에 차이가 생깁니다. 이전 연구에 따르면 LLM은 특히 저자원 언어에서 영어가 아닌 텍스트를 이해하고 생성하는 데 어려움을 겪는 것으로 나타났습니다Nguyen et al. (2023); Zhu et al. (2023); Huang et al. (2023). 리소스 격차를 해소하기 위해 연구자와 실무자들이 여러 가지 해결책을 제안하거나 구현하고 있습니다. 한 가지 가능한 해결책은 다양한 언어와 분야에서 사용할 수 있는 데이터의 양을 늘리고 이를 LLM 사전 학습 및 평가에 사용할 수 있도록 하는 것입니다 Lin et al. (2022); Chen et al. (2022); Cahyawijaya et al. (2023). 그러나 이러한 접근 방식은 상당한 계산 비용이 소요되며 리소스 격차는 지속됩니다. 또는 mBERT Devlin et al.과 같이 다양한 언어의 텍스트에 대해 동시에 학습된 다국어 언어 모델이 소개되었습니다. (2019) 및 XLM-R Conneau et al. (2020)을 통해 격차를 효과적으로 해소했습니다.