Monolingual TokenizerTable 3 demonstrates that the BPE-SP-33 tokenizer, on average, is the best-performing tokenizer, followed by the GPT-2 tokenizer. Interestingly, SentencePiece's implementation of BPE with a vocabulary size of 33k has been used for LLAMA2 (Touvron et al., 2023). Aggregated metrics provide a reasonable overview of the overall performance. However, it does not express potentially large performance differences across tasks. Therefore, we listed in Table 4 the obtained results for a list of selected tasks obtained by the best and worst performing tokenizer on this task. The results illustrate that the performance difference can be huge. For instance, for ARC-Easy, a commonsense reasoning task, the gap between the best and worst tokenizer is 9%.
단일 언어 Tokenizer표 3은 평균적으로 BPE-SP-33 Tokenizer가 가장 성능이 우수하고, 그 다음으로 GPT-2 Tokenizer가 우수하다는 것을 보여줍니다. 흥미롭게도, 어휘 크기가 33k인 BPE를 구현한 SentencePiece는 LLAMA2(Touvron et al., 2023)에 사용되었습니다. 집계된 metrics는 전반적인 성능에 대한 합리적인 개요를 제공합니다. 그러나 작업 간에 잠재적으로 큰 성능 차이를 표현하지는 않습니다. 따라서 이 작업에서 가장 우수한 Tokenizer와 가장 부진한 Tokenizer가 수행한 선택된 작업 목록에 대한 결과를 표 4에 나열했습니다. 이 결과를 통해 성능 차이가 클 수 있음을 보여줍니다. 예를 들어, 상식 추론 과제인 ARC-Easy의 경우 최고 점수와 최저 점수 사이의 차이는 9%에 달합니다.
단일 언어 토큰화기표 3은 평균적으로 BPE-SP-33 토큰화기가 가장 성능이 우수하고, 그 다음으로 GPT-2 토큰화기가 우수하다는 것을 보여줍니다. 흥미롭게도, 어휘 크기가 33k인 BPE를 구현한 SentencePiece는 LLAMA2(Touvron et al., 2023)에 사용되었습니다. 집계된 메트릭은 전반적인 성능에 대한 합리적인 개요를 제공합니다. 그러나 작업 간에 잠재적으로 큰 성능 차이를 표현하지는 않습니다. 따라서 이 작업에서 가장 우수한 토큰화기와 가장 부진한 토큰화기가 수행한 선택된 작업 목록에 대한 결과를 표 4에 나열했습니다. 이 결과를 통해 성능 차이가 클 수 있음을 보여줍니다. 예를 들어, 상식 추론 과제인 ARC-Easy의 경우 최고 점수와 최저 점수 사이의 차이는 9%에 달합니다.