We use byte-pair encoding (BPE) [69] implemented in the SentencePiece framework [40], to tokenize the pretraining data. The vocabulary size of Yi is set to 64,000 to balance computational efficiency and word comprehension. Specifically, we split numbers into individual digits to facilitate a better understanding of numeric data. We allow rare characters to fall back to the unicode-byte encoding to ensure fault tolerance. We employ the identity tokenizer to avoid transferring all punctuations to the half-width format. LLMs prioritizing English usually utilize dummy prefix (whitespace at the beginning of text) in their tokenizers to generalize the same words at different positions of sentences. We do not use this approach because the assumption does not always hold even in the English context, especially for sentences that begin with quotation marks, also it does not show positive effect in Chinese context.
전처리 데이터를 토큰화하기 위해 SentencePiece 프레임워크[40]에 구현된 byte-pair encoding (BPE)[69]을 사용합니다. Yi의 어휘 크기는 계산 효율성과 단어 이해력의 균형을 맞추기 위해 64,000으로 설정됩니다. 특히 숫자를 개별 숫자로 분할하여 숫자 데이터를 더 잘 이해할 수 있도록 합니다. 희귀 문자가 유니코드 바이트 인코딩으로 되돌아갈 수 있도록 허용하여 내결함성을 보장합니다. 모든 구두점을 반폭 형식으로 전송하지 않도록 identity tokenizer를 사용합니다. 영어를 우선시하는 LLM은 일반적으로 토큰화기에 dummy prefix(텍스트 시작 부분의 공백)를 사용하여 문장의 다른 위치에 있는 동일한 단어를 일반화합니다. 이 접근 방식은 영어 문맥에서도, 특히 따옴표로 시작하는 문장에서도 가정이 항상 유지되는 것은 아니며 중국어 문맥에서도 긍정적인 효과를 보이지 않으므로 이 접근 방식을 사용하지 않습니다.
전처리 데이터를 토큰화하기 위해 SentencePiece 프레임워크[40]에 구현된 바이트 쌍 인코딩(BPE)[69]을 사용합니다. Yi의 어휘 크기는 계산 효율성과 단어 이해력의 균형을 맞추기 위해 64,000으로 설정됩니다. 특히 숫자를 개별 숫자로 분할하여 숫자 데이터를 더 잘 이해할 수 있도록 합니다. 희귀 문자가 유니코드 바이트 인코딩으로 되돌아갈 수 있도록 허용하여 내결함성을 보장합니다. 모든 구두점을 반폭 형식으로 전송하지 않도록 아이덴티티 토큰화기를 사용합니다. 영어를 우선시하는 LLM은 일반적으로 토큰화기에 더미 접두사(텍스트 시작 부분의 공백)를 사용하여 문장의 다른 위치에 있는 동일한 단어를 일반화합니다. 이 접근 방식은 영어 문맥에서도, 특히 따옴표로 시작하는 문장에서도 가정이 항상 유지되는 것은 아니며 중국어 문맥에서도 긍정적인 효과를 보이지 않으므로 이 접근 방식을 사용하지 않습니다.