The data we retrieve at this stage has gone through all of the filtering heuristics in the MDR pipeline. We refer to this dataset as RW-Filtered. Only 23% of the documents of CommonCrawl are left, with around 50% of the documents of RW-Raw removed by the filtering.
이 단계에서 우리가 가져온 데이터는 MDR 파이프라인의 모든 필터링 휴리스틱을 거쳤습니다. 우리는 이 데이터셋을 RW-Filtered라고 부릅니다. CommonCrawl 문서의 23%만 남아 있으며, RW-Raw 문서의 약 50%가 필터링에 의해 제거되었습니다.
이 단계에서 검색하는 데이터는 MDR 파이프라인의 모든 필터링 휴리스틱을 거쳤습니다. 이 데이터 세트를 RW-Filtered라고 합니다. 필터링으로 인해 RW-Raw의 문서 중 약 50%가 제거되어 CommonCrawl의 문서 중 23%만 남게 됩니다.