In our intrinsic evaluation, we first compare the fertility and parity of the trained tokenizers (Section 4.1) and subsequently the overlap of their vocabularies (Section 4.2).
내재적 평가에서, 우리는 먼저 훈련된 토크나이저의 fertility와 parity를 비교하고(섹션 4.1), 그 후에 이들의 어휘 중첩도를 비교합니다(섹션 4.2).
본질적인 평가에서는 먼저 학습된 토큰화기의 임신율과 패리티를 비교하고(섹션 4.1), 이어서 그들의 어휘의 겹침을 비교한다(섹션 4.2).