Figure 1: Comparison of fertility scores between mono- and multilingual tokenizers applied to (a) Non-English, multilingual documents and (b) English documents.
그림 1: (a) 비영어, 다국어 문서와 (b) 영어 문서에 적용된 단일 언어 및 다국어 토크나이저의 가독성 점수 비교.
그림 1: (a) 비영어 다국어 문서와 (b) 영어 문서에 적용된 단일 언어 토큰화기와 다국어 토큰화기 간의 임신 가능성 점수 비교.