(1) **The impact of vocabulary extension on transfer.** We find that further pretraining with 0.5 billion Chinese tokens on the original vocabulary significantly outperforms performance on the extended vocabulary, even though the latter has been further pretrained on over 30 billion tokens. This suggests that vocabulary extension might not be a suitable choice for small-scale incremental pretraining in the order of tens of billions.
(1) **어휘 확장이 전송에 미치는 영향.** 원래 어휘에 대해 0.5억 개의 중국어 토큰으로 추가 pretraining을 하면 300억 개 이상의 토큰에 대해 추가 pretraining을 한 후보다 성능이 현저히 뛰어나다는 것을 알 수 있습니다. 이는 어휘 확장이 수십억 단위의 소규모 점진적 pretraining에는 적합하지 않을 수 있음을 시사합니다.
(1) **어휘 확장이 전송에 미치는 영향.** 원래 어휘에 대해 0.5억 개의 중국어 토큰으로 추가 전처리를 하면 300억 개 이상의 토큰에 대해 추가 전처리를 한 후보다 성능이 현저히 뛰어나다는 것을 알 수 있습니다. 이는 어휘 확장이 수십억 단위의 소규모 점진적 사전 학습에는 적합하지 않을 수 있음을 시사합니다.