Tokenizers in Decoder ModelsAn overview of current mono- and multilingual LLMs is provided in (Lin et al., 2022; Shliazhko et al., 2022; Scao et al., 2022). Stollenwerk (2023) evaluated the intrinsic metrics of the GPT-SW3 (Eggren et al., 2023) tokenizer that focused on the Nordic languages. As part of their work, Shliazhko et al. (2022) ablated different tokenizer pre-processing approaches while keeping the tokenizer algorithm, the vocabulary size, and the employed implementation fixed. In none of the other major LLM publications, the extrinsic tokenizer performance has been studied.
디코더 모델의 Tokenizer현재의 단일 언어 및 다국어 LLM에 대한 개요는 (Lin et al., 2022; Shliazhko et al., 2022; Scao et al., 2022)에 제공됩니다. Stollenwerk(2023)는 북유럽 언어에 초점을 맞춘 GPT-SW3(Eggren et al., 2023) Tokenizer에 대한 내재적 메트릭을 평가했습니다. 이 작업의 일환으로 Shliazhko et al.(2022)은 Tokenizer 알고리즘, 어휘 크기 및 사용된 구현을 고정한 상태에서 다양한 Tokenizer 사전 처리 접근 방식을 제거했습니다. 다른 주요 LLM 출판물에서는 Tokenizer 외부 성능이 연구되지 않았습니다.
디코더 모델의 토큰화기현재의 단일 언어 및 다국어 LLM에 대한 개요는 (Lin et al., 2022; Shliazhko et al., 2022; Scao et al., 2022)에 제공됩니다. Stollenwerk(2023)는 북유럽 언어에 초점을 맞춘 GPT-SW3(Eggren et al., 2023) 토큰화기에 대한 내재적 메트릭을 평가했습니다. 이 작업의 일환으로 Shliazhko et al.(2022)은 토큰화 알고리즘, 어휘 크기 및 사용된 구현을 고정한 상태에서 다양한 토큰화 사전 처리 접근 방식을 제거했습니다. 다른 주요 LLM 출판물에서는 토큰화기 외부 성능이 연구되지 않았습니다.