Firstly, it can be observed that applying a monolingual tokenizer to multilingual data results in significantly higher fertility and parity scores (see Fig. 0(a) and Fig. 2). While multilingual tokenizers have lower fertility than monolingual English tokenizers on all non-English documents by a large margin, they are only slightly worse on tokenizing English documents, as shown in Fig. 0(b).
첫째, 다국어 데이터에 monolingual tokenizer를 적용하면 훨씬 더 높은 fertility와 parity 점수가 산출되는 것을 관찰할 수 있습니다(그림 0(a) 및 그림 2 참조). 그림 0(b)에서 볼 수 있듯이 multilingual tokenizers는 모든 비영어 문서에서 fertility가 monolingual English tokenizers보다 훨씬 낮지만, 영어 문서 tokenizing에서는 약간만 떨어집니다.
첫째, 다국어 데이터에 단일 언어 토큰화기를 적용하면 훨씬 더 높은 출산율과 패리티 점수가 산출되는 것을 관찰할 수 있습니다(그림 0(a) 및 그림 2 참조). 그림 0(b)에서 볼 수 있듯이 다국어 토큰화기는 모든 비영어 문서에서 단어 수가 영어 토큰화기보다 훨씬 낮지만, 영어 문서 토큰화에서는 약간만 떨어집니다.