This work represents a fundamental step to a better understanding of the impact of the tokenizer on the models' downstream performance. We have shown that training tokenizers with a balanced share across languages achieve comparable low fertility and parity scores across all languages, which has important implications. Higher fertility results in up to 68% more computational costs during training and prevents the model from learning long-range dependencies in limited context windows.
이 작업은 tokenizer가 모델의 다운스트림 성능에 미치는 영향을 더 잘 이해하기 위한 근본적인 단계입니다. 우리는 언어 간 균형 잡힌 비율로 tokenizer를 학습시키면 모든 언어에서 비슷한 낮은 출산율과 패리티 점수를 달성할 수 있음을 보여주었으며, 이는 중요한 의미를 갖습니다. 출산율이 높을수록 학습 중 최대 68%의 계산 비용이 더 들고 모델이 제한된 context window에서 장거리 종속성을 학습하지 못하게 됩니다.
이 작업은 토큰화기가 모델의 다운스트림 성능에 미치는 영향을 더 잘 이해하기 위한 근본적인 단계입니다. 우리는 언어 간 균형 잡힌 비율로 토큰화기를 학습시키면 모든 언어에서 비슷한 낮은 출산율과 패리티 점수를 달성할 수 있음을 보여주었으며, 이는 중요한 의미를 갖습니다. 출산율이 높을수록 학습 중 최대 68%의 계산 비용이 더 들고 모델이 제한된 컨텍스트 창에서 장거리 종속성을 학습하지 못하게 됩니다.