Taking the fertility trends with varying vocabulary sizes (see Fig. 1) into consideration, we hypothesize that fertility only correlates with downstream performance in certain language-specific vocabulary size limits. For the English language, the tokenizers already provide low, close-to-convergence fertility scores for vocabulary sizes of 33k tokens. While additional tokens yield only minute fertility improvements, we presume that they do not capture morphological segmentations and, thus, can harm downstream performance and significantly increase the computation costs (see Section 5.3) in the end.
다양한 어휘 크기를 가진 다산 추세(그림 1 참조)를 고려할 때, 다산성은 특정 언어별 어휘 크기 제한에서만 downstream 성능과 상관관계가 있다는 가설을 세웁니다. 영어의 경우, tokenizers는 이미 33k tokens의 어휘 크기에 대해 낮은 수준의 수렴 다산성 점수를 제공합니다. tokens이 추가되더라도 다산성 향상은 미미한 수준에 불과하지만, 형태론적 세분화를 포착하지 못하여 downstream 성능에 해를 끼치고 궁극적으로 계산 비용을 크게 증가시킬 수 있다고 가정합니다(5.3절 참조).
다양한 어휘 크기를 가진 다산 추세(그림 1 참조)를 고려할 때, 다산성은 특정 언어별 어휘 크기 제한에서만 다운스트림 성능과 상관관계가 있다는 가설을 세웁니다. 영어의 경우, 토큰화기는 이미 33k 토큰의 어휘 크기에 대해 낮은 수준의 수렴 다산성 점수를 제공합니다. 토큰이 추가되더라도 다산성 향상은 미미한 수준에 불과하지만, 형태론적 세분화를 포착하지 못하여 다운스트림 성능에 해를 끼치고 궁극적으로 계산 비용을 크게 증가시킬 수 있다고 가정합니다(5.3절 참조).