When we aim to enhance the capabilities of a LLM in a specific language, vocabulary extension is an intuitively reasonable approach. In this section, we evaluate the impact of vocabulary extension through the LLM-Eval benchmark, and the experimental results are presented in table 1. Initially, we collected one million Chinese sentences from the internet (approximately 0.5 billion tokens) and further pretrain the original LLaMA without vocabulary extension. Surprisingly, we find that this model significantly outperform the vocabulary-extended Chinese LLaMA, across settings of 1K, 5K, and 950K instruction tuning. This discovery is thought-privoking, given that the Chinese LLaMA underwent further Chinese pretraining on 30 billion tokens, a much larger volume than our 0.5 billion tokens. Moreover, within the 950K setting, we include results from extending the vocabulary on original LLaMA and training it with the same 0.5 billion tokens, to mitigate the influence of training data discrepancy. The outcomes remain consistent. This indicates that vocabulary extension is not a favorable choice within training scales of tens of billions of tokens. While we don't negate the efficacy of vocabulary extension in settings involving larger-scale pretraining (such as trillions of tokens), as reported in other literatures [23], this already leans more towards retraining than mere language transfer.
특정 언어에서 LLM의 기능을 향상시키는 것을 목표로 할 때 어휘 확장은 직관적으로 합리적인 접근 방식입니다. 이 섹션에서는 LLM-Eval 벤치마크를 통해 어휘 확장의 영향을 평가하고 실험 결과는 표 1에 제시되어 있습니다. 먼저 인터넷에서 한 백만 개의 중국어 문장(약 0.50억 토큰)을 수집하여 어휘 확장 없이 원래 LLaMA를 추가로 사전 학습했습니다. 놀랍게도 이 모델은 1K, 5K, 950K Instruction Tuning 설정에서 어휘가 확장된 중국어 LLaMA보다 훨씬 뛰어난 성능을 발휘했습니다. 이 발견은 중국어 LLaMA가 0.5억 토큰보다 훨씬 많은 양인 300억 토큰에 대해 추가 중국어 사전 학습을 거쳤다는 점을 고려할 때 생각을 자극합니다. 또한 950K 설정에서는 원래 LLaMA의 어휘를 확장하고 동일한 0.5억 토큰으로 학습시켜 훈련 데이터 불일치의 영향을 완화하기 위해 결과를 포함했습니다. 결과는 일관성을 유지합니다. 이는 수백억 토큰 규모의 훈련에서는 어휘 확장이 바람직한 선택이 아님을 나타냅니다. 다른 문헌[23]에서 보고한 바와 같이, 더 큰 규모의 사전 학습(예: 수조 토큰)이 포함된 설정에서는 어휘 확장의 효과를 부정하지 않지만, 이는 이미 단순한 언어 전달보다는 재교육에 더 가깝습니다.
특정 언어에서 LLM의 기능을 향상시키는 것을 목표로 할 때 어휘 확장은 직관적으로 합리적인 접근 방식입니다. 이 섹션에서는 LLM-Eval 벤치마크를 통해 어휘 확장의 영향을 평가하고 실험 결과는 표 1에 제시되어 있습니다. 먼저 인터넷에서 한 백만 개의 중국어 문장(약 0.50억 토큰)을 수집하여 어휘 확장 없이 원래 LLaMA를 추가로 사전 학습했습니다. 놀랍게도 이 모델은 1K, 5K, 950K 명령어 튜닝 설정에서 어휘가 확장된 중국어 LLaMA보다 훨씬 뛰어난 성능을 발휘했습니다. 이 발견은 중국어 LLaMA가 0.5억 토큰보다 훨씬 많은 양인 300억 토큰에 대해 추가 중국어 사전 학습을 거쳤다는 점을 고려할 때 생각을 자극합니다. 또한 950K 설정에서는 원래 LLaMA의 어휘를 확장하고 동일한 0.5억 토큰으로 학습시켜 훈련 데이터 불일치의 영향을 완화하기 위해 결과를 포함했습니다. 결과는 일관성을 유지합니다. 이는 수백억 토큰 규모의 훈련에서는 어휘 확장이 바람직한 선택이 아님을 나타냅니다. 다른 문헌[23]에서 보고한 바와 같이, 더 큰 규모의 사전 학습(예: 수조 토큰)이 포함된 설정에서는 어휘 확장의 효과를 부정하지 않지만, 이는 이미 단순한 언어 전달보다는 재교육에 더 가깝습니다.