To measure the impact of our trained tokenizers on the model downstream performance, we trained one model for each tokenizer. In particular, for each of our 24 trained tokenizers, we trained a 2.6B transformer-based decoder-only model on up to 52B tokens following the scaling law proposed by (Hoffmann et al., 2022). Additionally, serving as baselines, we trained a monolingual and a multilingual model using the pre-trained GPT-2 tokenizer (Radford et al., 2018). All models have been trained based on the causal language modeling training objective.
훈련된 토큰화기가 다운스트림 성능에 미치는 영향을 측정하기 위해 각 토큰화기에 대해 하나의 모델을 훈련했습니다. 특히, 훈련된 24개의 토큰화기 각각에 대해 (Hoffmann et al., 2022)에서 제안한 scaling law에 따라 최대 52B 토큰에 대해 2.6B Transformer 기반 decoder 전용 모델을 훈련했습니다. 또한 기준선으로, 사전 훈련된 GPT-2 토큰화기를 사용하여 단일 언어 및 다국어 모델을 훈련했습니다(Radford et al., 2018). 모든 모델은 causal language modeling training objective를 기반으로 훈련되었습니다.
훈련된 토큰화기가 다운스트림 성능에 미치는 영향을 측정하기 위해 각 토큰화기에 대해 하나의 모델을 훈련했습니다. 특히, 훈련된 24개의 토큰화기 각각에 대해 (Hoffmann et al., 2022)에서 제안한 스케일링 법칙에 따라 최대 52B 토큰에 대해 2.6B 트랜스포머 기반 디코더 전용 모델을 훈련했습니다. 또한 기준선으로, 사전 훈련된 GPT-2 토큰화기를 사용하여 단일 언어 및 다국어 모델을 훈련했습니다(Radford et al., 2018). 모든 모델은 인과적 언어 모델링 훈련 목표를 기반으로 훈련되었습니다.