For the other Chinese LLaMA models (basic version), we utilize a 20GB general Chinese corpus for pre-training, which is consistent with the corpora used by Chinese BERT-wvm (Cui et al., 2021), MacBERT (Cui et al., 2020), LERT (Cui et al., 2022), and others. We also provide "Plus" version, which further expands the pre-training data to 120GB, incorporating additional data from CommonCrawl (CC) and encyclopedia sources, enhancing the model's understanding of fundamental concepts. We concatenated all the datasets and generated chunks of block size 512 for pre-training purposes.
다른 중국어 LLaMA 모델(기본 버전)의 경우, 중국어 BERT-wvm(Cui et al., 2021), MacBERT(Cui et al., 2020), LERT(Cui et al., 2022) 등에서 사용한 말뭉치와 일치하는 20GB 일반 중국어 말뭉치를 pre-training에 활용합니다. 또한 pre-training 데이터를 120GB로 더 확장하여 CommonCrawl(CC) 및 백과사전 소스의 추가 데이터를 통합하여 기본 개념에 대한 모델의 이해력을 향상시킨 '플러스' 버전도 제공합니다. 모든 데이터 세트를 연결하고 pre-training 목적으로 블록 크기 512의 청크를 생성했습니다.
다른 중국어 LLaMA 모델(기본 버전)의 경우, 중국어 BERT-wvm(Cui et al., 2021), MacBERT(Cui et al., 2020), LERT(Cui et al., 2022) 등에서 사용한 말뭉치와 일치하는 20GB 일반 중국어 말뭉치를 사전 학습에 활용합니다. 또한 사전 학습 데이터를 120GB로 더 확장하여 CommonCrawl(CC) 및 백과사전 소스의 추가 데이터를 통합하여 기본 개념에 대한 모델의 이해력을 향상시킨 '플러스' 버전도 제공합니다. 모든 데이터 세트를 연결하고 사전 학습 목적으로 블록 크기 512의 청크를 생성했습니다.