To assess the impact of the tokenizers on the model downstream performance, we trained a decoder-only transformer model of size 2.6 B for each tokenizer. We trained our models for 52.6 B tokens following the scaling laws proposed by Hoffmann et al. (2022), based on the causal language modeling training objective. The hyper-parameters are described in Table 10 in the Appendix C.
토큰화가 모델 다운스트림 성능에 미치는 영향을 평가하기 위해 각 토큰화에 대해 2.6B 크기의 decoder 전용 Transformer 모델을 훈련했습니다. 인과적 언어 모델링 훈련 objective를 기반으로 Hoffmann 등(2022)이 제안한 scaling laws에 따라 52.6B 토큰에 대해 모델을 훈련했습니다. 하이퍼 파라미터는 부록 C의 표 10에 설명되어 있습니다.
토큰화가 모델 다운스트림 성능에 미치는 영향을 평가하기 위해 각 토큰화에 대해 2.6B 크기의 디코더 전용 트랜스포머 모델을 훈련했습니다. 인과적 언어 모델링 훈련 목표를 기반으로 Hoffmann 등(2022)이 제안한 스케일링 법칙에 따라 52.6B 토큰에 대해 모델을 훈련했습니다. 하이퍼 파라미터는 부록 C의 표 10에 설명되어 있습니다.