All the models are pre-trained on a mixture of English and Chinese corpus. Both the English and Chinese corpora consist of webpages, wikipedia, books, and papers. The ratio of English to Chinese is 4:1 in the pre-training corpus. We tokenize the data with the byte pair encoding (BPE) algorith [38] with the SentencePiece package [22].
모든 모델은 영어와 중국어 코퍼스 혼합물에 대해 pre-trained 되었습니다. 영어와 중국어 코퍼스는 모두 웹 페이지, 위키피디아, 책 및 논문으로 구성됩니다. pre-training 코퍼스에서 영어와 중국어의 비율은 4:1입니다. 데이터는 SentencePiece 패키지[22]의 byte pair encoding (BPE) 알고리즘[38]으로 tokenize합니다.
모든 모델은 영어와 중국어 코퍼스 혼합물에 대해 사전 학습이 완료되었습니다. 영어와 중국어 코퍼스는 모두 웹 페이지, 위키피디아, 책 및 논문으로 구성됩니다. 사전 학습 코퍼스에서 영어와 중국어의 비율은 4:1입니다. 데이터는 문장 조각 패키지[22]의 바이트 쌍 인코딩(BPE) 알고리즘[38]으로 토큰화합니다.