Tokenizers in Encoder ModelsMost research on tokenization has been conducted on encoder models. Rust et al. (2021) investigated whether the tokenizer choice impacts the downstream performance of multi- and monolingual BERT (Devlin et al., 2018) models. Zhang et al. (2022) showed that better machine translation performance is often obtained when languages are equally sampled during the tokenizer training. Toraman et al. (2023) trained several medium-sized language models for Turkish and suggested that different subword tokenizers perform roughly equivalent, whereas word- and character-level tokenizers perform drastically worse on downstream tasks. Finally, (Chirkova and Troshin, 2022) analyzed the effect of employing different tokenizations on code-related tasks and demonstrated that carefully configured tokenizers could reduce average sequence length up to 40% or allow for small downstream performance improvements by up to 2% at a lower compression rate.
인코더 모델의 Tokenizers
Tokenization에 대한 대부분의 연구는 인코더 모델에 대해 수행되었습니다. Rust 등(2021)은 Tokenizer 선택이 다국어 및 단일 언어 BERT(Devlin 등, 2018) 모델의 다운스트림 성능에 영향을 미치는지 조사했습니다. Zhang 등(2022)은 Tokenizer 학습 중에 언어가 동일하게 샘플링될 때 더 나은 기계 번역 성능을 얻는 경우가 많다는 것을 보여주었습니다. Toraman 등(2023)은 터키어를 위한 몇 가지 중형 언어 모델을 훈련하고 서브워드 Tokenizers는 거의 동등한 성능을 발휘하는 반면, 단어 및 문자 수준 Tokenizers는 다운스트림 작업에서 훨씬 더 나쁜 성능을 발휘한다고 제안했습니다. 마지막으로, (Chirkova and Troshin, 2022)는 다양한 Tokenizations을 코드 관련 작업에 사용했을 때의 효과를 분석하고 신중하게 구성된 Tokenizers를 사용하면 평균 시퀀스 길이를 최대 40%까지 줄이거나 압축률이 낮을 때 최대 2%까지 작은 다운스트림 성능을 개선할 수 있음을 입증했습니다.
인코더 모델의 토큰화기토큰화에 대한 대부분의 연구는 인코더 모델에 대해 수행되었습니다. Rust 등(2021)은 토큰화기 선택이 다국어 및 단일 언어 BERT(Devlin 등, 2018) 모델의 다운스트림 성능에 영향을 미치는지 조사했습니다. Zhang 등(2022)은 토큰화기 학습 중에 언어가 동일하게 샘플링될 때 더 나은 기계 번역 성능을 얻는 경우가 많다는 것을 보여주었습니다. 토라마 등(2023)은 터키어를 위한 몇 가지 중형 언어 모델을 훈련하고 서브워드 토큰화기는 거의 동등한 성능을 발휘하는 반면, 단어 및 문자 수준 토큰화기는 다운스트림 작업에서 훨씬 더 나쁜 성능을 발휘한다고 제안했습니다. 마지막으로, (Chirkova and Troshin, 2022)는 다양한 토큰화를 코드 관련 작업에 사용했을 때의 효과를 분석하고 신중하게 구성된 토큰화기를 사용하면 평균 시퀀스 길이를 최대 40%까지 줄이거나 압축률이 낮을 때 최대 2%까지 작은 다운스트림 성능을 개선할 수 있음을 입증했습니다.