Tokenization referes to the process of converting a sequence of text into smaller parts, known as tokens. While the simplest tokenization tool simply chops text into tokens based on white space, most tokenization tools rely on a word dictionary. However, out-of-vocabulary (OOV) is a problem in this case because the tokenizer only knows words in its dictionary. To increase the coverage of dictionaries, popular tokenizers used for LLMs are based on sub-words, which can be combined to form a large number of words, including the words unseen in training data or words in different languages. In what follows, we describe three popular tokenizers.
토큰화는 텍스트 시퀀스를 토큰으로 알려진 더 작은 부분으로 변환하는 프로세스를 말합니다. 가장 간단한 tokenization 도구는 단순히 공백을 기준으로 텍스트를 토큰으로 잘라내지만, 대부분의 tokenization 도구는 단어 사전에 의존합니다. 그러나 tokenization 도구는 사전에 있는 단어만 알기 때문에 out-of-vocabulary (OOV) 문제가 발생할 수 있습니다. 사전의 범위를 넓히기 위해 LLMs에 사용되는 대중적인 tokenization 도구는 하위 단어를 기반으로 하며, 이 하위 단어를 결합하여 학습 데이터에 보이지 않는 단어나 다른 언어의 단어를 포함한 수많은 단어를 형성할 수 있습니다. 다음에서는 세 가지 인기 있는 tokenization 도구에 대해 설명합니다.
토큰화는 텍스트 시퀀스를 토큰으로 알려진 더 작은 부분으로 변환하는 프로세스를 말합니다. 가장 간단한 토큰화 도구는 단순히 공백을 기준으로 텍스트를 토큰으로 잘라내지만, 대부분의 토큰화 도구는 단어 사전에 의존합니다. 그러나 토큰화 도구는 사전에 있는 단어만 알기 때문에 어휘가 없는(OOV) 문제가 발생할 수 있습니다. 사전의 범위를 넓히기 위해 LLM에 사용되는 대중적인 토큰화 도구는 하위 단어를 기반으로 하며, 이 하위 단어를 결합하여 학습 데이터에 보이지 않는 단어나 다른 언어의 단어를 포함한 수많은 단어를 형성할 수 있습니다. 다음에서는 세 가지 인기 있는 토큰화 도구에 대해 설명합니다.