Despite the importance of tokenizers and the potentially severe impact of poorly performing tokenizers, there exists no extensive study so far that holistically investigates the intrinsic and extrinsic tokenizer performance in a monolingual and multilingual setting with a focus on decoder-only models, which represent the backbone of current LLMs.
토큰라이저의 중요성과 성능이 떨어지는 토큰라이저가 초래할 수 있는 심각한 영향에도 불구하고, 현재 LLMs의 근간을 이루는 decoder-only 모델에 초점을 맞춰 단일 언어 및 다국어 환경에서 토큰라이저의 내재적 및 외재적 성능을 총체적으로 조사하는 광범위한 연구는 아직 존재하지 않습니다.
토큰라이저의 중요성과 성능이 떨어지는 토큰라이저가 초래할 수 있는 심각한 영향에도 불구하고, 현재 LLM의 근간을 이루는 디코더 전용 모델에 초점을 맞춰 단일 언어 및 다국어 환경에서 토큰라이저의 내재적 및 외재적 성능을 총체적으로 조사하는 광범위한 연구는 아직 존재하지 않습니다.