In the following, we describe the results of our extrinsic evaluation of tokenizers. Section 5.1 describes the experimental setup, Section 5.2 presents the downstream performance of the trained models based on the investigated tokenizers, and Section 5.3 analyzes the computational costs associated with each tokenizer when employed in a specific model.
다음에서는 토크나이저에 대한 외재적 평가 결과를 설명합니다. 5.1절에서는 실험 설정을 설명하고, 5.2절에서는 조사된 토크나이저를 기반으로 훈련된 모델의 다운스트림 성능을 제시하며, 5.3절에서는 특정 모델에 사용될 때 각 토크나이저와 관련된 계산 비용을 분석합니다.
다음에서는 토큰화기에 대한 외부 평가 결과를 설명합니다. 섹션 5.1에서는 실험 설정을 설명하고, 섹션 5.2에서는 조사된 토큰화기에 기반하여 훈련된 모델의 다운스트림 성능을 제시하며, 섹션 5.3에서는 특정 모델에 사용할 때 각 토큰화기에 관련된 계산 비용을 분석합니다.