been pretrained primarily on English-dominated corpus, supplemented with limited data from 20 related languages that utilize the Latin and Cyrillic scripts. As a result, LLaMA exhibits inferior performance in contexts involving non-English languages where it has not undergone sufficient training. Some researchers collect large-scale data for specific languages of interest and retrain an LLM [20]. However, this inevitably leads to high computational and data collection costs, which is not suitable for low-resource languages. While Cui, Yang, and Yao [21] extend original vocabulary and further pretrain LLaMA with 30B Chinese tokens by LoRA [1], reporting promising results. Nonetheless, a fine-grained systematic investigation of the transfer process remains lacking.
주로 라틴어와 키릴 문자를 사용하는 20개의 관련 언어의 제한된 데이터를 보완하여 영어가 지배적인 코퍼스에 대해 사전 학습을 거쳤습니다. 그 결과, LLaMA는 충분한 학습을 거치지 않은 비영어 언어와 관련된 컨텍스트에서 열등한 성능을 보입니다. 일부 연구자들은 관심 있는 특정 언어에 대한 대규모 데이터를 수집하고 LLM [20]을 retrain합니다. 그러나 이는 필연적으로 높은 계산 및 데이터 수집 비용을 초래하므로 저자원 언어에는 적합하지 않습니다. Cui, Yang, Yao [21]는 원래 어휘를 확장하고 LoRA [1]를 통해 30B 중국어 토큰으로 LLaMA를 추가로 pretrain하여 유망한 결과를 보고했습니다. 그럼에도 불구하고 전송 프로세스에 대한 세분화된 체계적 조사는 여전히 부족합니다.
주로 라틴어와 키릴 문자를 사용하는 20개의 관련 언어의 제한된 데이터를 보완하여 영어가 지배적인 코퍼스에 대해 사전 학습을 거쳤습니다. 그 결과, LLaMA는 충분한 학습을 거치지 않은 비영어 언어와 관련된 컨텍스트에서 열등한 성능을 보입니다. 일부 연구자들은 관심 있는 특정 언어에 대한 대규모 데이터를 수집하고 LLM [20]을 재교육합니다. 그러나 이는 필연적으로 높은 계산 및 데이터 수집 비용을 초래하므로 저자원 언어에는 적합하지 않습니다. Cui, Yang, Yao [21]는 원래 어휘를 확장하고 LoRA [1]를 통해 30B 중국어 토큰으로 LLaMA를 추가로 사전 학습하여 유망한 결과를 보고했습니다. 그럼에도 불구하고 전송 프로세스에 대한 세분화된 체계적 조사는 여전히 부족합니다.