For the SLM, the embedding parameters will take up a lot of parameter space if the vocabulary is large. Therefore, for our 1.2B model, we use a smaller vocab MiniCPMTokenizer-70K. Compared to the MiniCPMTokenizer-120K tokenizer, we have re-trained the tokenization on the same documents, while setting the max number of vocabs to 64,000. For the special characters, we only add the traditional Chinese characters, emojis, and special symbols, but leave out the rare characters in Chinese.
SLM의 경우 어휘가 많으면 embedding 파라미터가 많은 파라미터 공간을 차지하게 됩니다. 따라서 1.2B 모델의 경우 더 작은 어휘 MiniCPMTokenizer-70K를 사용합니다. MiniCPMTokenizer-120K tokenizer와 비교하여 동일한 문서에 대해 tokenization을 다시 학습시켰지만 최대 어휘 수를 64,000개로 설정했습니다. 특수 문자의 경우 중국어 한자, 이모티콘, 특수 기호만 추가하고 중국어의 희귀 문자는 제외했습니다.
SLM의 경우 어휘가 많으면 임베딩 파라미터가 많은 파라미터 공간을 차지하게 됩니다. 따라서 12억 모델의 경우 더 작은 어휘 MiniCPMTokenizer-70K를 사용합니다. MiniCPMTokenizer-120K 토큰라이저와 비교하여 동일한 문서에 대해 토큰화를 다시 학습시켰지만 최대 어휘 수를 64,000개로 설정했습니다. 특수 문자의 경우 중국어 한자, 이모티콘, 특수 기호만 추가하고 중국어의 희귀 문자는 제외했습니다.