The extrinsic evaluation aims to explicitly assess the impact of a tokenizer on the model's downstream performance. We selected a comprehensive set of downstream tasks (see Section 5.1) to measure the downstream performance.
외부 평가는 토큰화가 모델의 downstream 성능에 미치는 영향을 명시적으로 평가하는 것을 목표로 합니다. downstream 성능을 측정하기 위해 포괄적인 downstream 작업 세트(5.1절 참조)를 선택했습니다.
외부 평가는 토큰화가 모델의 다운스트림 성능에 미치는 영향을 명시적으로 평가하는 것을 목표로 합니다. 다운스트림 성능을 측정하기 위해 포괄적인 다운스트림 작업 세트(5.1절 참조)를 선택했습니다.