Table 5 demonstrates that BPE-SP, on average, outperforms BPE-HF in the monolingual and multilingual setting across all languages. The performance differences might be attributed to the differences in implementation details of the tokenizers' pre-and postprocessing, which could affect the vocabulary creation (see Section 4.2) and, consequently, the downstream performance.
Table 5는 BPE-SP가 평균적으로 모든 언어에서 단일 언어 및 다중 언어 설정에서 BPE-HF보다 우수한 성능을 보인다는 것을 보여줍니다. 성능 차이는 토크나이저의 전처리 및 후처리 구현 세부 사항의 차이로 인한 것일 수 있으며, 이는 어휘 생성(섹션 4.2 참조) 및 결과적으로 다운스트림 성능에 영향을 미칠 수 있습니다.
표 5는 모든 언어에서 단일 언어 및 다국어 설정에서 평균적으로 BPE-SP가 BPE-HF보다 성능이 뛰어나다는 것을 보여줍니다. 성능 차이는 토큰화기의 전후 처리의 구현 세부 사항의 차이로 인해 어휘 생성(4.2절 참조)에 영향을 미치고 결과적으로 다운스트림 성능에 영향을 미칠 수 있습니다.