The overlap is roughly constant across different vocabulary sizes, and the total overlap tends to be rather low, despite being the identical algorithm only implemented by two different libraries. Consequently, the tokenizers produce different tokenized sequences, possibly affecting model training and downstream performance. Investigating the underlying reasons, the low overlap might be attributed to different configuration and pre-processing options in these libraries. Due to the larger thesaurus in multilingual documents, the overlap for the multilingual tokenizer is lower than for the English tokenizers.
중복은 다양한 어휘 크기에 걸쳐 대략 일정하며, 두 개의 서로 다른 라이브러리에서만 구현된 동일한 알고리즘임에도 불구하고 전체 중복은 다소 낮은 경향이 있습니다. 결과적으로 tokenizers는 서로 다른 tokenized sequences를 생성하여 모델 학습 및 다운스트림 성능에 영향을 미칠 수 있습니다. 근본적인 이유를 조사한 결과, 이러한 라이브러리의 서로 다른 configuration 및 전처리 옵션 때문일 수 있습니다. 다국어 문서에서 더 큰 동의어 사전으로 인해 다국어 tokenizer의 중복률이 영어 tokenizers보다 낮습니다.
중복은 다양한 어휘 크기에 걸쳐 대략 일정하며, 두 개의 서로 다른 라이브러리에서만 구현된 동일한 알고리즘임에도 불구하고 전체 중복은 다소 낮은 경향이 있습니다. 결과적으로 토큰화 도구는 서로 다른 토큰화 시퀀스를 생성하여 모델 학습 및 다운스트림 성능에 영향을 미칠 수 있습니다. 근본적인 이유를 조사한 결과, 이러한 라이브러리의 서로 다른 구성 및 전처리 옵션 때문일 수 있습니다. 다국어 문서에서 더 큰 동의어 사전으로 인해 다국어 토큰화 도구의 중복률이 영어 토큰화 도구보다 낮습니다.