Despite being small in parameter size, MiniCPM targets modeling diverse data distribution, excelling in English and Chinese. Therefore, our vocabulary is relatively large. For the 2.4B model, we use a tokenizer consisting of 122,753 tokens (denoted by MiniCPMTokenizer-120K). This vocabulary is constructed from extensive and diverse language data, utilizing the sentencepiece library 4 for Byte Pair Encoding (BPE) (Sennrich et al., 2016), and includes special symbols like traditional Chinese characters, rare characters, emojis, and special symbols such as Greek letters, Cyrillic letters, etc.
미니CPM은 매개변수 크기가 작지만 다양한 데이터 분포를 모델링하는 것을 목표로 하며, 영어와 중국어에 탁월합니다. 따라서 우리의 어휘는 상대적으로 큽니다. 2.4B 모델의 경우 122,753개의 토큰으로 구성된 tokenizer를 사용합니다(MiniCPMTokenizer-120K로 표시). 이 어휘는 광범위하고 다양한 언어 데이터에서 구성되며, sentencepiece 라이브러리를 사용하여 Byte Pair Encoding (BPE)을 수행합니다(Sennrich et al., 2016). 전통 한자, 희귀 문자, 이모티콘, 그리스 문자, 키릴 문자 등과 같은 특수 기호 등의 특수 기호를 포함합니다.
미니CPM은 매개변수 크기가 작지만 다양한 데이터 분포를 모델링하는 것을 목표로 하며, 영어와 중국어에 탁월합니다. 따라서 우리의 어휘는 상대적으로 큽니다. 2.4B 모델의 경우 122,753개의 토큰으로 구성된 토큰화기를 사용합니다(MiniCPMTokenizer-120K로 표시). 이 어휘는 광범위하고 다양한 언어 데이터에서 구성되며, 문장 조각 4 라이브러리를 사용하여 바이트 쌍 인코딩(BPE)을 수행합니다(Sennrich et al., 2016). 전통 한자, 희귀 문자, 이모티콘, 그리스 문자, 키릴 문자 등과 같은 특수 기호 등의 특수 기호를 포함합니다.