In contrast, for multilingual tokenizers, we observe significant fertility improvements with increasing vocabulary sizes. Due to the larger thesaurus induced by the additional languages, the tokenizer requires a larger vocabulary to allow a model to perform convincingly on all languages. Therefore, only within the non-convergence vocabulary range, we achieve a strong, negative correlation between fertility and downstream performance with varying vocabulary sizes.
반면, 다국어 토크나이저의 경우, 어휘 크기가 증가함에 따라 유의미한 fertility 개선이 관찰됩니다. 추가된 언어들로 인해 유도된 더 큰 사전 때문에, 토크나이저는 모든 언어에서 모델이 설득력 있게 작동할 수 있도록 더 큰 어휘가 필요합니다. 따라서, 비수렴 어휘 범위 내에서만 어휘 크기에 따라 fertility와 다운스트림 성능 간에 강한 음의 상관관계를 달성할 수 있습니다.
이와는 대조적으로 다국어 토큰화기에 있어서는 어휘 크기가 커질수록 상당한 비옥도 향상을 관찰할 수 있다. 추가 언어에 의해 유도된 더 큰 동의어 사전으로 인해 토큰화기는 모델이 모든 언어에서 설득력 있게 수행할 수 있도록 더 큰 어휘를 필요로 한다. 따라서 수렴하지 않는 어휘 범위 내에서만 다양한 어휘 크기로 비옥도와 다운스트림 성능 사이의 강한 음의 상관관계를 달성할 수 있다.