Our studies rely on the two established tokenization algorithms, BPE and Unigram, and their implementation in the _Huggingface tokenizer_ library (Moi and Patry, 2023) and the _SentencePiece_ library (Kudo and Richardson, 2018). We considered both libraries in order to investigate the effect of differences in the pre-and post-processing steps and potential differences in the implementations. Due to missing pre-processing options for Huggingface's Unigram implementation, which causes a large discrepancy in the resulting vocabulary compared to SentencePiece's implementation of Unigram, we omitted the training of Unigram tokenizers based on Huggingface. Overall, we trained 24 different tokenizers, where one-half of the tokenizers were monolingual English tokenizers, and the other half of the tokenizers were multilingual tokenizers. Besides the tokenizer algorithm, language composition, and employed tokenizer library, we also varied the vocabulary size. Concrete tokenizer configurations are described in the Appendix B.
우리의 연구는 두 가지 확립된 토큰화 알고리즘인 BPE와 Unigram과 이를 구현한 _Huggingface tokenizer_ 라이브러리(Moi and Patry, 2023)와 _SentencePiece_ 라이브러리(Kudo and Richardson, 2018)에 의존합니다. 사전 및 사후 처리 단계의 차이와 잠재적인 구현 차이를 조사하기 위해 두 라이브러리를 모두 고려했습니다. Huggingface의 Unigram 구현에 대한 사전 처리 옵션이 누락되어 결과 어휘에서 SentencePiece의 Unigram 구현과 큰 차이가 발생하므로, Huggingface 기반의 Unigram tokenizer 훈련은 생략했습니다. 전체적으로 24개의 서로 다른 tokenizer를 훈련했으며, tokenizer의 절반은 단일 언어 영어 tokenizer, 나머지 절반은 다국어 tokenizer였습니다. tokenizer 알고리즘, 언어 구성, 사용된 tokenizer 라이브러리 외에도 어휘 크기도 다양하게 조정했습니다. 구체적인 tokenizer 구성은 부록 B에 설명되어 있습니다.
우리의 연구는 두 가지 확립된 토큰화 알고리즘인 BPE와 유니그램과 이를 구현한 _허깅페이스 토큰화기_ 라이브러리(Moi and Patry, 2023)와 _SentencePiece_ 라이브러리(Kudo and Richardson, 2018)에 의존합니다. 사전 및 사후 처리 단계의 차이와 잠재적인 구현 차이를 조사하기 위해 두 라이브러리를 모두 고려했습니다. 허깅페이스의 유니그램 구현에 대한 사전 처리 옵션이 누락되어 결과 어휘에서 SentencePiece의 유니그램 구현과 큰 차이가 발생하므로, 허깅페이스 기반의 유니그램 토큰화기 훈련은 생략했습니다. 전체적으로 24개의 서로 다른 토큰화기를 훈련했으며, 토큰화기의 절반은 단일 언어 영어 토큰화기, 나머지 절반은 다국어 토큰화기였습니다. 토큰화 알고리즘, 언어 구성, 사용된 토큰화 라이브러리 외에도 어휘 크기도 다양하게 조정했습니다. 구체적인 토큰화 구성은 부록 B에 설명되어 있습니다.