Multilingual TokenizerTable 3 shows that the BPE-SP-100 tokenizer is the best-performing tokenizer followed by the BPE-SP-82 tokenizer. Furthermore, Table 3 demonstrates that the GPT-2 tokenizer performs poorly, implying that using a pre-trained GPT-2 tokenizer to pre-train and fine-tune multilingual models should be **omitted**. The analysis of selected tasks ( 4) reveals that for multilingual tokenizers, the performance difference between tasks can be huge.
다국어 Tokenizer표 3은 BPE-SP-100 Tokenizer가 가장 성능이 좋은 Tokenizer이며 그 다음으로 BPE-SP-82 Tokenizer가 성능이 좋은 Tokenizer임을 보여줍니다. 또한 표 3은 GPT-2 Tokenizer가 성능이 떨어지는 것을 보여주며, 이는 사전 학습된 GPT-2 Tokenizer를 사용하여 다국어 모델을 사전 학습 및 Fine-tuning하는 것을 **생략**해야 함을 의미합니다. 선택된 작업(4)의 분석 결과, 다국어 Tokenizer의 경우 작업 간 성능 차이가 클 수 있음을 알 수 있습니다.
다국어 토큰화기표 3은 BPE-SP-100 토큰화기가 가장 성능이 좋은 토큰화기이며 그 다음으로 BPE-SP-82 토큰화기가 성능이 좋은 토큰화기임을 보여줍니다. 또한 표 3은 GPT-2 토큰화기가 성능이 떨어지는 것을 보여주며, 이는 사전 학습된 GPT-2 토큰화기를 사용하여 다국어 모델을 사전 학습 및 미세 조정하는 것을 **생략**해야 함을 의미합니다. 선택된 작업(4)의 분석 결과, 다국어 토큰화기의 경우 작업 간 성능 차이가 클 수 있음을 알 수 있습니다.