**Tokenization.** Tokenization is also a crucial step for data preprocessing. It aims to segment raw text into sequences of individual tokens, which are subsequently used as the inputs of LLMs. In traditional NLP research (_e.g.,_ sequence labeling with conditional random fields [220]), word-based tokenization is the predominant approach, which is more aligned with human's language cognition. However, word-based tokenization can yield different segmentation results for the same input in some languages (_e.g.,_ Chinese word segmentation), generate a huge word vocabulary containing many low-frequency words, and also suffer from the _"out-of-vocabulary"_ issue. Thus, several neural network models employ _character_ as the minimum unit to derive the word representation (_e.g.,_ a CNN word encoder in ELMo [21]). Recently, _subword tokenizers_ have been widely used in Transformer based language models, typically including Byte-Pair Encoding tokenization, WordPiece tokenization and Unigram tokenization. HuggingFace has maintained an excellent online NLP course on tokenizer22 with running examples, and we refer to the beginners to this course. Next, we briefly describe the three representative tokenization methods.
토큰화.** Tokenization은 데이터 전처리를 위한 중요한 단계이기도 합니다. Tokenization은 원시 텍스트를 개별 토큰의 시퀀스로 분할하여 LLM의 입력으로 사용하는 것을 목표로 합니다. 기존 NLP 연구(예: 조건부 랜덤 필드를 사용한 시퀀스 라벨링 [220])에서는 단어 기반 Tokenization이 주된 접근 방식으로, 이는 인간의 언어 인지와 더 잘 부합합니다. 그러나 단어 기반 Tokenization은 일부 언어(예: 중국어 단어 분할)에서 동일한 입력에 대해 서로 다른 분할 결과를 생성할 수 있으며, 빈도가 낮은 단어가 포함된 방대한 단어 어휘를 생성할 수 있고, '어휘 외 단어' 문제도 발생할 수 있습니다. 따라서 몇몇 신경망 모델에서는 _문자_를 최소 단위로 사용하여 단어 표현을 도출합니다(_예: ELMo [21]의 CNN 단어 Encoder). 최근에는 Transformer 기반 언어 모델에서 _서브워드 Tokenization_가 널리 사용되고 있으며, 일반적으로 Byte-Pair Encoding Tokenization, WordPiece Tokenization, Unigram Tokenization이 포함됩니다. HuggingFace는 Tokenizer22에 대한 뛰어난 온라인 NLP 강좌를 운영 중이며, 초보자는 이 강좌를 참조하세요. 다음에서는 대표적인 Tokenization 방법 세 가지를 간략하게 설명합니다.
토큰화.** 토큰화는 데이터 전처리를 위한 중요한 단계이기도 합니다. 토큰화는 원시 텍스트를 개별 토큰의 시퀀스로 분할하여 LLM의 입력으로 사용하는 것을 목표로 합니다. 기존 NLP 연구(예: 조건부 랜덤 필드를 사용한 시퀀스 라벨링 [220])에서는 단어 기반 토큰화가 주된 접근 방식으로, 이는 인간의 언어 인지와 더 잘 부합합니다. 그러나 단어 기반 토큰화는 일부 언어(예: 중국어 단어 분할)에서 동일한 입력에 대해 서로 다른 분할 결과를 생성할 수 있으며, 빈도가 낮은 단어가 포함된 방대한 단어 어휘를 생성할 수 있고, '어휘 외 단어' 문제도 발생할 수 있습니다. 따라서 몇몇 신경망 모델에서는 _문자_를 최소 단위로 사용하여 단어 표현을 도출합니다(_예: ELMo [21]의 CNN 단어 인코더). 최근에는 트랜스포머 기반 언어 모델에서 _서브워드 토큰화_가 널리 사용되고 있으며, 일반적으로 바이트 쌍 인코딩 토큰화, 워드피스 토큰화, 유니그램 토큰화가 포함됩니다. HuggingFace는 토큰라이저22에 대한 뛰어난 온라인 NLP 강좌를 운영 중이며, 초보자는 이 강좌를 참조하세요. 다음에서는 대표적인 토큰화 방법 세 가지를 간략하게 설명합니다.