\(\bullet\)_WordPiece tokenization._ WordPiece was a Google internal subword tokenization algorithm. It was originally proposed by Google in developing voice search systems [223]. Then, it was used in the neural machine translation system in 2016 [224], and was adopted as the word tokenizer for BERT in 2018 [23]. WordPiece has a very similar idea with BPE by iteratively merging consecutive tokens, whereas taking a slightly different selection criterion for the merge. To conduct the merge, it first trains a language model and employs it to score all possible pairs. Then, at each merge, it selects the pair that leads to the most increase in the likelihood of training data. Since Google has't released the official implementation of the WordPiece algorithm, HuggingFace gives a more intuitive selection measure in its online NLP course: a pair is scored by dividing the co-occurrence count by the product of the occurrence counts of two tokens in the pair based on training corpus.
\(\bullet\)_WordPiece tokenization._ WordPiece는 Google 내부의 하위 단어 tokenization 알고리즘입니다. 원래는 음성 검색 시스템 개발을 위해 Google에서 제안한 것으로 [223]을 참조하세요. 그 후 2016년 신경 기계 번역 시스템에 사용되었으며[224], 2018년에는 BERT의 단어 tokenization 도구로 채택되었습니다[23]. WordPiece는 연속된 토큰을 반복적으로 병합하는 방식으로 BPE와 매우 유사한 아이디어를 가지고 있지만, 병합에 대한 선택 기준은 약간 다릅니다. 병합을 수행하기 위해 먼저 language model을 훈련하고 이를 사용하여 가능한 모든 쌍에 점수를 부여합니다. 그런 다음 각 병합 시 가장 높은 훈련 데이터 가능성을 유도하는 쌍을 선택합니다. Google에서 WordPiece 알고리즘의 공식 구현을 공개하지 않았기 때문에 HuggingFace는 온라인 NLP 강좌에서 보다 직관적인 선택 척도를 제공합니다. 한 쌍은 훈련 코퍼스를 기반으로 한 쌍에 포함된 두 토큰의 발생 횟수의 곱에 의존하여 공동 발생 횟수를 나누어 점수를 매깁니다.
\(\bullet\)_WordPiece 토큰화._ WordPiece는 Google 내부의 하위 단어 토큰화 알고리즘입니다. 원래는 음성 검색 시스템 개발을 위해 Google에서 제안한 것으로 [223]을 참조하세요. 그 후 2016년 신경 기계 번역 시스템에 사용되었으며[224], 2018년에는 BERT의 단어 토큰화 도구로 채택되었습니다[23]. WordPiece는 연속된 토큰을 반복적으로 병합하는 방식으로 BPE와 매우 유사한 아이디어를 가지고 있지만, 병합에 대한 선택 기준은 약간 다릅니다. 병합을 수행하기 위해 먼저 언어 모델을 훈련하고 이를 사용하여 가능한 모든 쌍에 점수를 부여합니다. 그런 다음 각 병합 시 가장 높은 훈련 데이터 가능성을 유도하는 쌍을 선택합니다. Google에서 WordPiece 알고리즘의 공식 구현을 공개하지 않았기 때문에 HuggingFace는 온라인 NLP 강좌에서 보다 직관적인 선택 척도를 제공합니다. 한 쌍은 훈련 코퍼스를 기반으로 한 쌍에 포함된 두 토큰의 발생 횟수의 곱에 의존하여 공동 발생 횟수를 나누어 점수를 매깁니다.