Applying the described fertility and parity evaluation to the mono-/multilingual tokenizers, our analysis highlights the following two major aspects, as visualized in Fig. 1 and Fig. 2.
설명한 fertility 및 parity 평가를 모노/멀티 언어 토큰화기에 적용한 분석 결과, Fig. 1과 Fig. 2에서 볼 수 있듯이 크게 두 가지 측면을 강조한다.
설명한 생식력 및 패리티 평가를 모노/멀티 언어 토큰화기에 적용한 분석 결과, Fig. 1과 Fig. 2에서 볼 수 있듯이 크게 두 가지 측면을 강조한다.