Secondly, with increasing vocabulary size, fertility and parity reduce in all cases, which can be explained by the tokenizer requiring fewer subword tokens when tokenizing text given a larger vocabulary. However, it can be observed that for monolingual English tokenizers, the fertility is less dependent on the vocabulary when tokenizing English documents, implying that 33k might be a sufficiently large vocabulary.
둘째, 어휘 크기가 증가하면 모든 경우에서 생식력과 패리티가 감소하는데, 이는 tokenizer에 더 큰 어휘가 주어졌을 때 텍스트를 tokenizing할 때 더 적은 수의 subword tokens이 필요하다는 tokenizer에 의해 설명할 수 있습니다. 그러나 모국어 영어 tokenizer의 경우 영어 문서를 tokenizing할 때 fertility가 어휘에 덜 의존하는 것으로 보아 33k가 충분히 큰 어휘일 수 있음을 알 수 있습니다.
둘째, 어휘 크기가 증가하면 모든 경우에서 생식력과 패리티가 감소하는데, 이는 토큰화기에 더 큰 어휘가 주어졌을 때 텍스트를 토큰화할 때 더 적은 수의 하위 단어 토큰이 필요하다는 토큰화기에 의해 설명할 수 있습니다. 그러나 모국어 영어 토큰화기의 경우 영어 문서를 토큰화할 때 생식력이 어휘에 덜 의존하는 것으로 보아 33k가 충분히 큰 어휘일 수 있음을 알 수 있습니다.