Subword tokenization.This class of algorithms subsumes all data-driven tokenization approaches which can decompose words into subwords/multiple tokens and currently represent the established tokenization approach upon which LLMs rely (Kudo and Richardson, 2018; Petrov et al., 2023). Because subword tokenizers decompose words into subwords, they can process out-of-vocabulary words by merging subwords from the vocabulary (Kudo and Richardson, 2018). Examples of popular subword tokenizers are WordPiece (Schuster and Nakajima, 2012), BPE (Gage, 1994; Sennrich et al., 2015), Byte-Level BPE (BBPE) (Wang et al., 2020), and Unigram (Kudo, 2018).
소단어 tokenization. 이 알고리즘 클래스는 단어를 subwords/여러 tokens으로 분해할 수 있는 모든 데이터 기반 tokenization 접근 방식을 포괄하며, 현재 LLMs이 의존하는 확립된 tokenization 접근 방식을 나타냅니다(Kudo and Richardson, 2018; Petrov et al., 2023). subword tokenizers는 단어를 subwords로 분해하기 때문에 어휘의 subwords를 병합하여 어휘 외 단어를 처리할 수 있습니다(Kudo and Richardson, 2018). 널리 사용되는 subword tokenizers의 예로는 WordPiece(Schuster and Nakajima, 2012), BPE(Gage, 1994; Sennrich et al., 2015), Byte-Level BPE(BBPE)(Wang et al., 2020), Unigram(Kudo, 2018) 등이 있습니다.
소단어 토큰화.이 알고리즘 클래스는 단어를 하위 단어/여러 토큰으로 분해할 수 있는 모든 데이터 기반 토큰화 접근 방식을 포괄하며, 현재 LLM이 의존하는 확립된 토큰화 접근 방식을 나타냅니다(Kudo and Richardson, 2018; Petrov et al., 2023). 하위 단어 토큰화는 단어를 하위 단어로 분해하기 때문에 어휘의 하위 단어를 병합하여 어휘 외 단어를 처리할 수 있습니다(Kudo and Richardson, 2018). 널리 사용되는 하위 단어 토큰화의 예로는 WordPiece(Schuster and Nakajima, 2012), BPE(Gage, 1994; Sennrich et al., 2015), 바이트 레벨 BPE(BBPE)(Wang et al., 2020), 유니그램(Kudo, 2018) 등이 있습니다.