While many different tokenization approaches have been proposed, ranging from character-based to word-based methods, the potential impact of different tokenizers is underexplored w.r.t. LLMs, especially in the context of multilingual LLMs. Recent work proposed by Petrov et al. (2023) demonstrates that carelessly designed tokenizers applied to the training of multilingual LLMs result in severe inequalities and limitations across languages. Text passages translated into different languages resulted in tokenized sequences that differ in length up to a factor of 15, affecting inference costs and latency during inference. Furthermore, it is known that the learning of long-range dependencies Vaswani et al. (2017), is an essential property for effectively learning transformer-based LLMs. Given a fixed sequence length, learning to relate words far apart in the input text is impossible for languages whose text is excessively fragmented by the tokenizer.
문자 기반부터 단어 기반 방법에 이르기까지 다양한 tokenization 접근 방식이 제안되었지만, 특히 다국어 LLM의 맥락에서 다양한 tokenizer의 잠재적 영향은 아직 제대로 탐구되지 않았습니다. Petrov 외(2023)가 제안한 최근 연구에 따르면, 다국어 LLM의 학습에 부주의하게 설계된 tokenizer를 적용하면 언어 간에 심각한 불평등과 한계가 발생한다는 사실이 밝혀졌습니다. 다른 언어로 번역된 텍스트 구절은 tokenized 시퀀스의 길이가 최대 15배까지 달라져 추론 비용과 추론 속도에 영향을 미쳤습니다. 또한, 원거리 종속성 Vaswani et al.(2017)의 학습은 Transformer 기반 LLM을 효과적으로 학습하는 데 필수적인 특성인 것으로 알려져 있습니다. 고정된 시퀀스 길이가 주어졌을 때, tokenizer에 의해 텍스트가 과도하게 분할된 언어의 경우 입력 텍스트에서 멀리 떨어진 단어를 연관시키는 학습이 불가능합니다.
문자 기반부터 단어 기반 방법에 이르기까지 다양한 토큰화 접근 방식이 제안되었지만, 특히 다국어 LLM의 맥락에서 다양한 토큰화 도구의 잠재적 영향은 아직 제대로 탐구되지 않았습니다. Petrov 외(2023)가 제안한 최근 연구에 따르면, 다국어 LLM의 학습에 부주의하게 설계된 토큰화 도구를 적용하면 언어 간에 심각한 불평등과 한계가 발생한다는 사실이 밝혀졌습니다. 다른 언어로 번역된 텍스트 구절은 토큰화된 시퀀스의 길이가 최대 15배까지 달라져 추론 비용과 추론 속도에 영향을 미쳤습니다. 또한, 원거리 종속성 Vaswani et al.(2017)의 학습은 트랜스포머 기반 LLM을 효과적으로 학습하는 데 필수적인 특성인 것으로 알려져 있습니다. 고정된 시퀀스 길이가 주어졌을 때, 토큰화 도구에 의해 텍스트가 과도하게 분할된 언어의 경우 입력 텍스트에서 멀리 떨어진 단어를 연관시키는 학습이 불가능합니다.