Figure 1: Pretraining data distribution, where "zh" represents Chinese data, “en” represents English data, “cc” stands for Common Crawl, including publicly available web documents, etc., and ‘encyc.’ refers to the encyclopedia.
그림 1: Pretraining 데이터 분포, 여기서 "zh"는 중국어 데이터, "en"은 영어 데이터, "cc"는 공개적으로 사용 가능한 웹 문서 등을 포함하는 Common Crawl을 의미하며, 'encyc.'는 백과사전을 의미한다.
그림 1: 사전 학습 데이터 분포, 여기서 "zh"는 중국어 데이터, "en"은 영어 데이터, "cc"는 공개적으로 사용 가능한 웹 문서 등을 포함하는 Common Crawl을 의미하며, 'encyc.'는 백과사전을 의미한다.