Since our paper focuses on the study of RefinedWeb alone, we chose to exclude common online sources of curated data from it. This serves two objectives: (1) it strengthens our results, by ensuring that RefinedWeb doesn't end-up actually being made mostly of known high-quality sources (e.g., Wikipedia represents a significant portion of C4); (2) future works may be interested in combining RefinedWeb with existing curated copora, which would require further deduplication if they are included in RefinedWeb. Accordingly, we remove common sources used in The Pile (Gao et al., 2020) from RefinedWeb. The full list of curated data sources domains that we blocked is in Table 14.
이 백서에서는 RefinedWeb에 대한 연구에만 초점을 맞추고 있기 때문에 큐레이션된 데이터의 일반적인 온라인 소스는 제외하기로 결정했습니다. 이는 두 가지 목적을 달성합니다: (1) RefinedWeb이 실제로 잘 알려진 고품질 소스(예: Wikipedia가 C4의 상당 부분을 차지함)로만 구성되는 것을 방지하여 결과를 강화하고, (2) 향후 작업에서는 RefinedWeb에 포함된 경우 추가 deduplication이 필요한 기존 큐레이션 copora와 RefinedWeb을 결합하는 데 관심이 있을 수 있습니다. 따라서 RefinedWeb에서 The Pile (Gao et al., 2020)에 사용된 일반적인 소스를 제거합니다. 차단된 큐레이션된 데이터 소스 도메인의 전체 목록은 표 14에 나와 있습니다.
이 백서에서는 RefinedWeb에 대한 연구에만 초점을 맞추고 있기 때문에 큐레이션된 데이터의 일반적인 온라인 소스는 제외하기로 결정했습니다. 이는 두 가지 목적을 달성합니다: (1) RefinedWeb이 실제로 잘 알려진 고품질 소스(예: Wikipedia가 C4의 상당 부분을 차지함)로만 구성되는 것을 방지하여 결과를 강화하고, (2) 향후 작업에서는 RefinedWeb에 포함된 경우 추가 중복 제거가 필요한 기존 큐레이션 코포라와 RefinedWeb을 결합하는 데 관심이 있을 수 있습니다. 따라서 RefinedWeb에서 더미 더미(Gao et al., 2020)에 사용된 일반적인 소스를 제거합니다. 차단된 큐레이션된 데이터 소스 도메인의 전체 목록은 표 14에 나와 있습니다.