We train a BPE tokenizer in SentencePiece (Kudo and Richardson, 2018) on data that is randomly sampled from the final 8T token dataset. To have better coverage of low-resource languages in the tokenizer, we upsample non-English data relative to the final training dataset distribution. Our tokenizer preserves whitespaces (including leading and trailing ones), splits numbers into their individual digits (Chowdhery et al., 2022), and relies on byte-level backoff to handle unknown character sequences. The final vocabulary size is 256,000 tokens.
최종 8T token 데이터 세트에서 무작위로 샘플링한 데이터에 대해 BPE tokenizer를 SentencePiece(Kudo and Richardson, 2018)로 학습시킵니다. tokenizer에 저자원 언어를 더 잘 커버할 수 있도록 최종 학습 데이터 세트 분포에 비해 비영어 데이터를 upsample합니다. tokenizer는 공백(선행 및 후행 공백 포함)을 유지하고, 숫자를 개별 숫자로 분할하며(Chowdhery et al., 2022), 알 수 없는 문자 시퀀스를 처리하기 위해 byte-level backoff에 의존합니다. 최종 어휘 크기는 256,000개의 token입니다.
최종 8T 토큰 데이터 세트에서 무작위로 샘플링한 데이터에 대해 BPE 토큰화기를 SentencePiece(Kudo and Richardson, 2018)로 학습시킵니다. 토큰화기에 저자원 언어를 더 잘 커버할 수 있도록 최종 학습 데이터 세트 분포에 비해 비영어 데이터를 업샘플링합니다. 토큰화기는 공백(선행 및 후행 공백 포함)을 유지하고, 숫자를 개별 숫자로 분할하며(Chowdhery et al., 2022), 알 수 없는 문자 시퀀스를 처리하기 위해 바이트 수준 백오프에 의존합니다. 최종 어휘 크기는 256,000개의 토큰입니다.