Many well-known LLMs are capable of comprehending input and generating responses across different languages, thanks to their pretraining on a diverse mix of corpus from multiple languages. However, due to the imbalanced distribution of language resources, collecting extensive training data for all languages is nearly impossible [10]. Taking the representative LLM BLOOM [13] as an example, it has been pretrained on 46 natural languages. Yet, this number accounts for only \(0.66\%\) of the roughly \(7,000\) languages currently in use. Moreover, within the corpus of these 46 languages, there exists extreme imbalance, with the high-resource English texts being 2.8 million times more than that of the low-resource Chitumbka language. This is not an isolated case.
많은 잘 알려진 LLM은 여러 언어의 다양한 말뭉치에 대한 pretraining 덕분에 다양한 언어에 걸쳐 입력을 이해하고 응답을 생성할 수 있습니다. 그러나 언어 자원의 불균형한 분포로 인해 모든 언어에 대한 광범위한 학습 데이터를 수집하는 것은 거의 불가능합니다[10]. 대표적인 LLM인 BLOOM [13]을 예로 들면, 46개의 자연어에 대해 pretraining을 거쳤습니다. 그러나 이 수치는 현재 사용 중인 약 7,000개의 언어 중 0.66%에 불과합니다. 또한 이 46개 언어의 말뭉치 내에서도 리소스가 풍부한 영어 텍스트가 리소스가 부족한 치툼브카 언어보다 280만 배나 많은 등 극심한 불균형이 존재합니다. 이는 고립된 사례가 아닙니다.
많은 잘 알려진 LLM은 여러 언어의 다양한 말뭉치에 대한 사전 학습 덕분에 다양한 언어에 걸쳐 입력을 이해하고 응답을 생성할 수 있습니다. 그러나 언어 자원의 불균형한 분포로 인해 모든 언어에 대한 광범위한 학습 데이터를 수집하는 것은 거의 불가능합니다[10]. 대표적인 LLM인 BLOOM [13]을 예로 들면, 46개의 자연어에 대해 사전 학습을 거쳤습니다. 그러나 이 수치는 현재 사용 중인 약 7,000개의 언어 중 0.66%에 불과합니다. 또한 이 46개 언어의 말뭉치 내에서도 리소스가 풍부한 영어 텍스트가 리소스가 부족한 치툼브카 언어보다 280만 배나 많은 등 극심한 불균형이 존재합니다. 이는 고립된 사례가 아닙니다.