Wikipedia (Wiki-40B)consists of multi-lingual cleaned Wikipedia text Guo et al. (2020). We take the English portion, which contains 2.9M Wikipedia pages with an average length of 768 BPE tokens. The dataset creators do not indicate any deduplication was performed aside from removing redirect-pages (e.g., "sunflower" to "Helianthus").
Wikipedia(Wiki-40B)는 다국어로 정리된 Wikipedia 텍스트로 구성되어 있습니다 Guo et al. (2020). 평균 길이가 768 BPE tokens인 290만 개의 Wikipedia 페이지가 포함된 영어 부분을 가져옵니다. 데이터 세트 생성자는 리디렉션 페이지(예: "해바라기"에서 "Helianthus")를 제거하는 것 외에 deduplication이 수행되었음을 표시하지 않습니다.
Wikipedia(Wiki-40B)는 다국어로 정리된 Wikipedia 텍스트로 구성되어 있습니다 Guo et al. (2020). 평균 길이가 768 BPE 토큰인 290만 개의 위키백과 페이지가 포함된 영어 부분을 가져옵니다. 데이터 세트 생성자는 리디렉션 페이지(예: "해바라기"에서 "Helianthus")를 제거하는 것 외에 중복 제거가 수행되었음을 표시하지 않습니다.