We conduct evaluations on 300,000 documents in Chinese, English, code, and academic papers that is not in the training set of the Tokenizer. The MiniCPM-120K tokenizer achieves the highest compression ratio (Bytes/Tokens).
중국어, 영어, 코드, 학술 논문 등 Tokenizer의 학습 세트에 없는 30만 개의 문서에 대해 평가를 진행합니다. MiniCPM-120K Tokenizer가 가장 높은 압축률(바이트/토큰)을 달성합니다.
중국어, 영어, 코드, 학술 논문 등 토큰라이저의 학습 세트에 없는 30만 개의 문서에 대해 평가를 진행합니다. MiniCPM-120K 토큰라이저가 가장 높은 압축률(바이트/토큰)을 달성합니다.