Although both tokenizers described before are strong and have many advantages compared to white-space tokenization, they still take assumption of words being always separated by white-space as granted. This assumption is not always true, in fact in some languages, words can be corrupted by many noisy elements such as unwanted spaces or even invented words. SentencePieceEncoding tries to address this issue.
앞서 설명한 두 가지 tokenizer 기법은 공백 tokenization에 비해 강력하고 많은 장점을 가지고 있지만, 여전히 단어가 항상 공백으로 구분된다는 가정을 당연시합니다. 이 가정이 항상 맞는 것은 아니며, 실제로 일부 언어에서는 원치 않는 공백이나 심지어 발명된 단어와 같은 많은 노이즈 요소로 인해 단어가 손상될 수 있습니다. SentencePieceEncoding은 이러한 문제를 해결하려고 노력합니다.
앞서 설명한 두 가지 토큰화 기법은 공백 토큰화에 비해 강력하고 많은 장점을 가지고 있지만, 여전히 단어가 항상 공백으로 구분된다는 가정을 당연시합니다. 이 가정이 항상 맞는 것은 아니며, 실제로 일부 언어에서는 원치 않는 공백이나 심지어 발명된 단어와 같은 많은 노이즈 요소로 인해 단어가 손상될 수 있습니다. SentencePieceEncoding은 이러한 문제를 해결하려고 노력합니다.