To equip LLaMA with enhanced Chinese understanding and generation capabilities, we propose to continue pre-training the LLaMA model with Chinese corpora. However, directly applying continual pre-training with Chinese corpora encounters several challenges. Firstly, the original LLaMA vocabulary covers less than a thousand Chinese characters, which is insufficient to encode general Chinese texts. Although the LLaMA tokenizer circumvents this issue by tokenizing unknown UTF-8 characters to bytes, this strategy significantly extends sequence length and slows down the encoding and decoding efficiency of Chinese texts, as each Chinese character splits into 3-4 byte tokens. Secondly, byte tokens are not exclusively designed to represent Chinese characters. Since byte tokens also signify UTF-8 tokens in other languages, it becomes challenging for byte tokens and transformer encoders to effectively learn representations capturing the semantic meaning of Chinese characters.
LLaMA에 향상된 중국어 이해 및 생성 기능을 갖추기 위해 중국어 말뭉치로 LLaMA 모델을 사전 학습하는 것을 계속 제안합니다. 그러나 중국어 말뭉치로 지속적인 사전 학습을 적용하면 몇 가지 문제가 발생합니다. 첫째, 원래의 LLaMA 어휘는 일반적인 중국어 텍스트를 인코딩하기에 충분하지 않은 천 자 미만의 중국어 문자를 포함합니다. LLaMA tokenizer는 알 수 없는 UTF-8 문자를 바이트로 토큰화하여 이 문제를 우회하지만, 이 전략은 각 한자가 3~4 byte tokens으로 분할되기 때문에 시퀀스 길이가 크게 늘어나고 중국어 텍스트의 encoding 및 decoding 속도가 느려집니다. 둘째, byte tokens은 한자를 나타내기 위해 특별히 설계되지 않았습니다. byte tokens은 다른 언어의 UTF-8 tokens을 나타내기도 하기 때문에 byte tokens과 Transformer encoders가 한자의 의미론적 의미를 포착하는 표현을 효과적으로 학습하기 어렵습니다.
LLaMA에 향상된 중국어 이해 및 생성 기능을 갖추기 위해 중국어 말뭉치로 LLaMA 모델을 사전 학습하는 것을 계속 제안합니다. 그러나 중국어 말뭉치로 지속적인 사전 학습을 적용하면 몇 가지 문제가 발생합니다. 첫째, 원래의 LLaMA 어휘는 일반적인 중국어 텍스트를 인코딩하기에 충분하지 않은 천 자 미만의 중국어 문자를 포함합니다. LLaMA 토큰화기는 알 수 없는 UTF-8 문자를 바이트로 토큰화하여 이 문제를 우회하지만, 이 전략은 각 한자가 3~4바이트 토큰으로 분할되기 때문에 시퀀스 길이가 크게 늘어나고 중국어 텍스트의 인코딩 및 디코딩 속도가 느려집니다. 둘째, 바이트 토큰은 한자를 나타내기 위해 특별히 설계되지 않았습니다. 바이트 토큰은 다른 언어의 UTF-8 토큰을 나타내기도 하기 때문에 바이트 토큰과 트랜스포머 인코더가 한자의 의미론적 의미를 포착하는 표현을 효과적으로 학습하기 어렵습니다.