\(\bullet\)_Unigram tokenization._ Unlike BPE and WordPiece, Unigram tokenization [225] starts with a sufficiently large set of possible substrings or subtokens for a corpus, and iteratively removes the tokens in the current vocabulary until the expected vocabulary size is reached. As the selection criterion, it calculates the yielded increase in the likelihood of training corpus by assuming that some token was removed from current vocabulary. This step is conducted based on a trained unigram language model. To estimate the unigram language model, it adopts an expectation-maximization (EM) algorithm: at each iteration, we first find the currently optimal tokenization of words based on the old language model, and then re-estimate the probabilities of unigrams to update the language model. During this procedure, dynamic programming algorithms (_i.e.,_ the Viterbi algorithm) are used to efficiently find the optimal decomposition way of a word given the language model. Representative models that adopt this tokenization approach include T5 and mBART.
\(\bullet\)_Unigram tokenization._ BPE 및 WordPiece와 달리, Unigram tokenization[225]는 코퍼스에 대해 가능한 하위 문자열 또는 서브토큰의 충분히 큰 집합으로 시작하여 예상 어휘 크기에 도달할 때까지 현재 어휘에서 토큰을 반복적으로 제거합니다. 선택 기준으로 현재 어휘에서 일부 토큰이 제거되었음을 가정하여 훈련 코퍼스의 가능성 증가를 계산합니다. 이 단계는 학습된 unigram language model을 기반으로 수행됩니다. Unigram language model을 추정하기 위해 expectation-maximization (EM) 알고리즘을 채택합니다: 각 반복에서 먼저 이전 언어 모델을 기반으로 현재 최적의 단어 tokenization을 찾은 다음, unigrams의 확률을 다시 추정하여 언어 모델을 업데이트합니다. 이 과정에서 동적 프로그래밍 알고리즘(_즉, Viterbi algorithm)을 사용하여 언어 모델이 주어졌을 때 단어의 최적 분해 방법을 효율적으로 찾습니다. 이 tokenization 방식을 채택하는 대표적인 모델로는 T5와 mBART가 있습니다.
\(\bullet\)_유니그램 토큰화._ BPE 및 WordPiece와 달리, 유니그램 토큰화[225]는 코퍼스에 대해 가능한 하위 문자열 또는 서브토큰의 충분히 큰 집합으로 시작하여 예상 어휘 크기에 도달할 때까지 현재 어휘에서 토큰을 반복적으로 제거합니다. 선택 기준으로 현재 어휘에서 일부 토큰이 제거되었음을 가정하여 훈련 코퍼스의 가능성 증가를 계산합니다. 이 단계는 학습된 유니그램 언어 모델을 기반으로 수행됩니다. 유니그램 언어 모델을 추정하기 위해 기대-최대화(EM) 알고리즘을 채택합니다: 각 반복에서 먼저 이전 언어 모델을 기반으로 현재 최적의 단어 토큰화를 찾은 다음, 유니그램의 확률을 다시 추정하여 언어 모델을 업데이트합니다. 이 과정에서 동적 프로그래밍 알고리즘(_즉, 비터비 알고리즘)을 사용하여 언어 모델이 주어졌을 때 단어의 최적 분해 방법을 효율적으로 찾습니다. 이 토큰화 방식을 채택하는 대표적인 모델로는 T5와 mBART가 있습니다.