Furthermore, we highlight that the tokenizer choice can significantly impact the model's downstream performance. We could show that the BPE algorithm applies well to mono- and multilingual settings. For English, we show that a vocabulary size of 33k is sufficient, whereas multilingual models based on our five considered languages require a up to three times larger vocabulary size. Moreover, we could show that the SentencePiece library outperforms the Huggingface tokenizer library.
또한 tokenizer 선택이 모델의 downstream 성능에 큰 영향을 미칠 수 있음을 강조합니다. BPE 알고리즘이 단일 언어 및 다국어 환경에 잘 적용된다는 것을 보여줄 수 있었습니다. 영어의 경우 vocabulary 크기가 33k면 충분한 반면, 고려한 5개 언어를 기반으로 하는 다국어 모델은 최대 3배 더 큰 vocabulary 크기가 필요합니다. 또한 SentencePiece 라이브러리가 Huggingface tokenizer 라이브러리보다 성능이 뛰어나다는 것을 보여줄 수 있었습니다.
또한 토큰화 도구 선택이 모델의 다운스트림 성능에 큰 영향을 미칠 수 있음을 강조합니다. BPE 알고리즘이 단일 언어 및 다국어 환경에 잘 적용된다는 것을 보여줄 수 있었습니다. 영어의 경우 어휘 크기가 33k면 충분한 반면, 고려한 5개 언어를 기반으로 하는 다국어 모델은 최대 3배 더 큰 어휘 크기가 필요합니다. 또한 SentencePiece 라이브러리가 Huggingface 토큰화 라이브러리보다 성능이 뛰어나다는 것을 보여줄 수 있었습니다.