The recent success of Large Language Models (LLMs) has been predominantly driven by curating the training dataset composition, scaling of model architectures and dataset sizes and advancements in pretraining objectives, leaving tokenizer influence as a blind spot. Shedding light on this underexplored area, we conduct a comprehensive study on the influence of tokenizer choice on LLM downstream performance by training 24 mono- and multilingual LLMs at a 2.6 B parameter scale, ablating different tokenizer algorithms and parameterizations. Our studies highlight that the tokenizer choice can significantly impact the model's downstream performance and training costs. In particular, we find that the common tokenizer evaluation metrics _fertility_ and _parity_ are not always predictive of model downstream performance, rendering these metrics a questionable proxy for the model's downstream performance. Furthermore, we show that multilingual tokenizers trained on the five most frequent European languages require vocabulary size increases of factor three in comparison to English. While English-centric tokenizers have been applied to the training of multi-lingual LLMs in the past, we find that this approach results in a severe downstream performance degradation and additional training costs of up to 68%, due to an inefficient tokenization vocabulary.
최근 Large Language Models (LLMs)의 성공은 주로 훈련 데이터 세트 구성, 모델 아키텍처 및 데이터 세트 크기의 확장, 사전 훈련 목표의 발전에 의해 주도되어 왔으며, tokenizer의 영향은 사각지대에 놓여 있습니다. 이제 막 탐구되기 시작한 이 분야에 조명을 비추기 위해 24개의 단일 언어 및 다국어 LLM을 2.6B 파라미터 규모로 훈련하고 다양한 tokenizer 알고리즘과 파라미터를 제거함으로써 tokenizer 선택이 LLM downstream 성능에 미치는 영향에 대한 포괄적인 연구를 수행했습니다. 연구 결과, tokenizer 선택이 모델의 downstream 성능과 훈련 비용에 큰 영향을 미칠 수 있음을 강조합니다. 특히, 일반적인 tokenizer 평가 지표인 _fertility_와 _parity_가 항상 모델의 downstream 성능을 예측하는 것은 아니며, 이러한 지표가 모델의 downstream 성능에 대한 의심스러운 대리 지표임을 보여주었습니다. 또한, 가장 빈번한 5개의 유럽 언어로 훈련된 다국어 tokenizer는 영어에 비해 어휘 크기가 3배 이상 증가해야 한다는 사실을 보여주었습니다. 과거에는 영어 중심의 tokenizer가 다국어 LLM 훈련에 적용되었지만, 이러한 접근 방식은 tokenizer 어휘가 비효율적이기 때문에 downstream 성능이 심각하게 저하되고 최대 68%의 추가 훈련 비용이 발생한다는 것을 발견했습니다.
최근 대규모 언어 모델(LLM)의 성공은 주로 훈련 데이터 세트 구성, 모델 아키텍처 및 데이터 세트 크기의 확장, 사전 훈련 목표의 발전에 의해 주도되어 왔으며, 토큰화 도구의 영향은 사각지대에 놓여 있습니다. 이제 막 탐구되기 시작한 이 분야에 조명을 비추기 위해 24개의 단일 언어 및 다국어 LLM을 2.6B 파라미터 규모로 훈련하고 다양한 토큰화 알고리즘과 파라미터를 제거함으로써 토큰화 도구 선택이 LLM 다운스트림 성능에 미치는 영향에 대한 포괄적인 연구를 수행했습니다. 연구 결과, 토큰화 도구 선택이 모델의 다운스트림 성능과 훈련 비용에 큰 영향을 미칠 수 있음을 강조합니다. 특히, 일반적인 토큰화 평가 지표인 _다산성_과 _패리티_가 항상 모델의 다운스트림 성능을 예측하는 것은 아니며, 이러한 지표가 모델의 다운스트림 성능에 대한 의심스러운 대리 지표임을 보여주었습니다. 또한, 가장 빈번한 5개의 유럽 언어로 훈련된 다국어 토큰화 도구는 영어에 비해 어휘 크기가 3배 이상 증가해야 한다는 사실을 보여주었습니다. 과거에는 영어 중심의 토큰화 도구가 다국어 LLM 훈련에 적용되었지만, 이러한 접근 방식은 토큰화 어휘가 비효율적이기 때문에 다운스트림 성능이 심각하게 저하되고 최대 68%의 추가 훈련 비용이 발생한다는 것을 발견했습니다.