The quality of a tokenizer can be assessed _intrinsically_ and _extrinsically_. An intrinsic evaluation solely addresses the characteristics of tokenizers and their generated output in isolation, whereas the extrinsic evaluation measures the impact of the tokenizer on a downstream component, e.g., the Large Language Model (LLM).
토큰라이저의 품질은 _내재적_ 및 _외재적_으로 평가할 수 있습니다. 내재적 평가는 토큰화기와 토큰화기가 생성한 출력의 특성만을 고립적으로 다루는 반면, 외재적 평가는 토큰화기가 다운스트림 구성 요소(예: Large Language Model (LLM))에 미치는 영향을 측정합니다.
토큰라이저의 품질은 _내재적_ 및 _외재적_으로 평가할 수 있습니다. 내재적 평가는 토큰화기와 토큰화기가 생성한 출력의 특성만을 고립적으로 다루는 반면, 외재적 평가는 토큰화기가 다운스트림 구성 요소(예: 대규모 언어 모델(LLM))에 미치는 영향을 측정합니다.