This algorithm is mainly used for very well-known models such as BERT and Electra. At the beginning of training, the algorithm takes all the alphabet from the training data to make sure that nothing will be left as UNK or _unknown_ from the training dataset. This case happens when the model is given an input that can not be tokenized by the tokenizer. It mostly happens in cases where some characters are not tokenizable by it. Similar to BytePairEncoding, it tries to maximize the likelihood of putting all the tokens in vocabulary based on their frequency.
이 알고리즘은 주로 BERT 및 Electra와 같은 잘 알려진 모델에 사용됩니다. 훈련 초기에 알고리즘은 훈련 데이터에서 알파벳을 모두 가져와 훈련 데이터 세트에서 UNK 또는 _unknown_으로 남지 않도록 합니다. 이 경우 모델에 tokenizer에 의해 tokenized할 수 없는 입력이 주어질 때 발생합니다. 이는 일부 문자가 tokenizable할 수 없는 경우에 주로 발생합니다. BytePairEncoding과 유사하게, 토큰의 빈도에 따라 모든 토큰을 어휘에 넣을 가능성을 최대화하려고 시도합니다.
이 알고리즘은 주로 BERT 및 Electra와 같은 잘 알려진 모델에 사용됩니다. 훈련 초기에 알고리즘은 훈련 데이터에서 알파벳을 모두 가져와 훈련 데이터 세트에서 UNK 또는 _알 수 없음_으로 남지 않도록 합니다. 이 경우 모델에 토큰화기에 의해 토큰화할 수 없는 입력이 주어질 때 발생합니다. 이는 일부 문자가 토큰화할 수 없는 경우에 주로 발생합니다. 바이트 쌍 인코딩과 유사하게, 토큰의 빈도에 따라 모든 토큰을 어휘에 넣을 가능성을 최대화하려고 시도합니다.