First, we discuss the overall results obtained for the investigated tokenizers, followed by presenting the impact of the tokenizer library (Section 5.2.1), the impact of the tokenizer algorithm (Section 5.2.2), and the impact of the vocabulary size (Section 5.2.3).
먼저 조사된 토큰화기에 대해 얻은 전반적인 결과를 논의한 다음 tokenizer 라이브러리의 영향(섹션 5.2.1), tokenizer 알고리즘의 영향(섹션 5.2.2), 어휘 크기의 영향(섹션 5.2.3)을 제시한다.
먼저 조사된 토큰화기에 대해 얻은 전반적인 결과를 논의한 다음 토큰화 라이브러리의 영향(섹션 5.2.1), 토큰화 알고리즘의 영향(섹션 5.2.2), 어휘 크기의 영향(섹션 5.2.3)을 제시한다.