To analyze the tokenizer similarity, we calculated the vocabulary overlap. Particularly, we assess Huggingface's and SentencePiece's BPE implementations, as depicted in Table 1.
토크나이저 유사성을 분석하기 위해, 우리는 어휘 중복도를 계산했습니다. 특히, 우리는 Table 1에 나타난 바와 같이 Huggingface와 SentencePiece의 BPE 구현을 평가했습니다.
토큰화 유사성을 분석하기 위해 어휘 중복을 계산했습니다. 특히 표 1과 같이 Huggingface와 SentencePiece의 BPE 구현을 평가했습니다.