**Tokenizer** We employed the baichuan2 tokenizer (Yang et al., 2023), which utilizes byte-pair encoding (BPE) (Shibata et al., 1999) from SentencePiece (Kudo and Richardson, 2018) for data tokenization. The vocabulary size is 125,696. Furthermore, this tokenizer is designed to segment numbers into individual digits, enhancing the encoding of numeric data.
**Tokenizer** 데이터 tokenization을 위해 SentencePiece(Kudo and Richardson, 2018)의 byte-pair encoding (BPE)(Shibata et al., 1999)을 활용하는 baichuan2 tokenizer(Yang et al., 2023)를 사용했습니다. 어휘 크기는 125,696개입니다. 또한 이 tokenizer는 숫자를 개별 숫자로 분할하도록 설계되어 숫자 데이터의 인코딩을 향상시킵니다.
**토큰라이저** 데이터 토큰화를 위해 SentencePiece(Kudo and Richardson, 2018)의 바이트 쌍 인코딩(BPE)(Shibata et al., 1999)을 활용하는 바이추안2 토큰라이저(Yang et al., 2023)를 사용했습니다. 어휘 크기는 125,696개입니다. 또한 이 토큰화 도구는 숫자를 개별 숫자로 분할하도록 설계되어 숫자 데이터의 인코딩을 향상시킵니다.