To investigate the tokenizer impact on the model performance, we conducted an extensive ablation study. In detail, we created dedicated datasets for the training of the tokenizers and the models, trained BPE and Unigram tokenizers, and for each tokenizer we trained decoder-only models with a size of 2.6B parameters while keeping the remaining configuration (i.e., dataset and model hyperparameters) fixed. This allowed us to measure the tokenizer's impact on the model's downstream performance in isolation.
토크나이저가 모델 성능에 미치는 영향을 조사하기 위해 광범위한 ablation 연구를 수행했습니다. 구체적으로, 토크나이저 및 모델 훈련을 위한 전용 데이터 세트를 만들고, BPE 및 Unigram 토크나이저를 훈련했으며, 각 토크나이저에 대해 나머지 구성(즉, 데이터 세트 및 모델 하이퍼파라미터)을 고정한 상태에서 2.6B 파라미터 크기의 decoder 전용 모델을 훈련했습니다. 이를 통해 토크나이저가 모델의 downstream 성능에 미치는 영향을 개별적으로 측정할 수 있었습니다.
토큰라이저가 모델 성능에 미치는 영향을 조사하기 위해 광범위한 폐기 연구를 수행했습니다. 구체적으로, 토큰화 및 모델 훈련을 위한 전용 데이터 세트를 만들고, BPE 및 유니그램 토큰화기를 훈련했으며, 각 토큰화기에 대해 나머지 구성(즉, 데이터 세트 및 모델 하이퍼파라미터)을 고정한 상태에서 2.6B 파라미터 크기의 디코더 전용 모델을 훈련했습니다. 이를 통해 토큰화가 모델의 다운스트림 성능에 미치는 영향을 개별적으로 측정할 수 있었습니다.