The intrinsic evaluation aims to assess the generated output of tokenizers based on _fertility_ and _parity_. Furthermore, the tokenizer's vocabulary overlap with other tokenizers is computed. The intrinsic evaluation does not assess the impact of tokenizers on the model performance.
내재적 평가는 _fertility_와 _parity_를 기준으로 토크나이저가 생성한 출력을 평가하는 것을 목표로 합니다. 또한, 토크나이저의 어휘가 다른 토크나이저와 얼마나 겹치는지도 계산합니다. 내재적 평가는 토크나이저가 모델 성능에 미치는 영향을 평가하지 않습니다.
내재적 평가는 _fertility_ 및 _parity_를 기반으로 토큰화기의 생성된 출력을 평가하는 것을 목표로 합니다. 또한 다른 토큰화기와의 토큰화기 어휘 중복도를 계산합니다. 내재적 평가는 토큰화가 모델 성능에 미치는 영향을 평가하지 않습니다.