Although it is expedient to leverage an existing tokenizer (_e.g.,_ OPT [90] and GPT-3 [55] utilize the tokenizer of GPT-2 [26]), using a tokenizer specially designed for the pre-training corpus can be highly beneficial [78], especially for the corpus that consists of diverse domains, languages, and formats. Therefore, recent LLMs often train the customized tokenizers specially for the pre-training corpus with the SentencePiece library [226], which includes Byte-level BPE and Unigram tokenization. A note is that normalization techniques in BPE, such as NFKC [227], may degrade the tokenization performance [34, 64, 78]. When extending existing LLMs (_i.e.,_ continual pre-training or instruction tuning), we should be also aware of the potential side effect with customized tokenizers. For example, LLaMA trains the BPE tokenizer based on a pre-training corpus mainly consisting of English texts, and the derived vocabulary might be less capable in processing non-English data, _e.g.,_ taking longer inference latency to generate Chinese texts.
기존 tokenizer(예: OPT[90] 및 GPT-3[55]는 GPT-2[26]의 tokenizer를 활용함)를 활용하는 것이 편리하지만, 사전 학습 코퍼스를 위해 특별히 설계된 tokenizer를 사용하는 것이 특히 다양한 도메인, 언어 및 형식으로 구성된 코퍼스에 매우 유리할 수 있습니다[78]. 따라서 최근의 LLM은 바이트 수준 BPE와 Unigram tokenization을 포함하는 SentencePiece 라이브러리[226]를 사용하여 사전 학습 코퍼스를 위해 특별히 맞춤형 tokenizer를 훈련하는 경우가 많습니다. 한 가지 주의할 점은 NFKC [227]와 같은 BPE의 정규화 기술이 tokenization 성능 [34, 64, 78]을 저하시킬 수 있다는 점입니다. 기존 LLM을 확장할 때(즉, 지속적인 사전 학습 또는 Instruction Tuning) 사용자 지정 tokenizer와 관련된 잠재적인 부작용도 인지해야 합니다. 예를 들어, LLaMA는 주로 영어 텍스트로 구성된 사전 학습 코퍼스를 기반으로 BPE tokenizer를 훈련하므로 파생된 어휘는 중국어 텍스트를 생성하는 데 더 오랜 추론 지연 시간이 걸리는 등 비영어 데이터를 처리하는 데 능력이 떨어질 수 있습니다.
기존 토큰화 도구(예: OPT[90] 및 GPT-3[55]는 GPT-2[26]의 토큰화 도구를 활용함)를 활용하는 것이 편리하지만, 사전 학습 코퍼스를 위해 특별히 설계된 토큰화 도구를 사용하는 것이 특히 다양한 도메인, 언어 및 형식으로 구성된 코퍼스에 매우 유리할 수 있습니다[78]. 따라서 최근의 LLM은 바이트 수준 BPE와 언니그램 토큰화를 포함하는 SentencePiece 라이브러리[226]를 사용하여 사전 학습 코퍼스를 위해 특별히 맞춤형 토큰화기를 훈련하는 경우가 많습니다. 한 가지 주의할 점은 NFKC [227]와 같은 BPE의 정규화 기술이 토큰화 성능 [34, 64, 78]을 저하시킬 수 있다는 점입니다. 기존 LLM을 확장할 때(즉, 지속적인 사전 학습 또는 지침 튜닝) 사용자 지정 토큰화기와 관련된 잠재적인 부작용도 인지해야 합니다. 예를 들어, LLaMA는 주로 영어 텍스트로 구성된 사전 학습 코퍼스를 기반으로 BPE 토큰화기를 훈련하므로 파생된 어휘는 중국어 텍스트를 생성하는 데 더 오랜 추론 지연 시간이 걸리는 등 비영어 데이터를 처리하는 데 능력이 떨어질 수 있습니다.