Analyzing the impact of the vocabulary size revealed that in the monolingual English setting, the smaller/medium-sized, i.e., a vocabulary size of 33k/50k performs better (Table 5) whereas in the multilingual setting, in all cases except for German, larger vocabulary sizes result in better downstream performance. Taking into account the results presented in Table 3 showing that in the monolingual English setting, the best-performing tokenizer on average across all tasks had a vocabulary size of 33k and that the best-performing multilingual tokenizer had a vocabulary size of 100k additionally supports the observation that for the monolingual English setting a small vocabulary size is beneficial and for the multilingual setting a large vocabulary size is required.
어휘 크기의 영향을 분석한 결과, 단일 언어 영어 환경에서는 더 작거나 중간 크기, 즉 어휘 크기가 33k/50k인 경우가 더 나은 성능을 보이는 반면(표 5), 다국어 환경에서는 독일어를 제외한 모든 경우에서 더 큰 어휘 크기가 더 나은 다운스트림 성능을 제공하는 것으로 나타났습니다. 표 3에 제시된 결과를 고려하면, 단일 언어 영어 환경에서 모든 작업에서 평균적으로 가장 성능이 좋은 tokenizer의 어휘 크기는 33k이고, 가장 성능이 좋은 다국어 tokenizer의 어휘 크기는 100k이라는 점을 고려하면 단일 언어 영어 환경에서는 작은 어휘 크기가 유리하고 다국어 환경에서는 큰 어휘 크기가 필요하다는 관찰을 추가로 뒷받침합니다.
어휘 크기의 영향을 분석한 결과, 단일 언어 영어 환경에서는 더 작거나 중간 크기, 즉 어휘 크기가 33k/50k인 경우가 더 나은 성능을 보이는 반면(표 5), 다국어 환경에서는 독일어를 제외한 모든 경우에서 더 큰 어휘 크기가 더 나은 다운스트림 성능을 제공하는 것으로 나타났습니다. 표 3에 제시된 결과를 고려하면, 단일 언어 영어 환경에서 모든 작업에서 평균적으로 가장 성능이 좋은 토큰화 도구의 어휘 크기는 33k이고, 가장 성능이 좋은 다국어 토큰화 도구의 어휘 크기는 100k이라는 점을 고려하면 단일 언어 영어 환경에서는 작은 어휘 크기가 유리하고 다국어 환경에서는 큰 어휘 크기가 필요하다는 관찰을 추가로 뒷받침합니다.