Figure 2: **Subsequent stages of Macrodata Refinement remove nearly 90% of the documents originally in CommonCrawl.** Notably, filtering and deduplication each result in a halving of the data available: around 50% of documents are discarded for not being English, 24% of remaining for being of insufficient quality, and 12% for being duplicates. We report removal rate (grey) with respect to each previous stage, and kept rate (shade) overall. Rates measured in % of documents in the document preparation phase, then in tokens.
그림 2: **매크로데이터 구체화의 후속 단계에서는 원래 CommonCrawl에 있던 문서의 거의 90%가 제거됩니다.** 특히 filtering과 deduplication을 통해 사용 가능한 데이터가 절반으로 줄어듭니다. 약 50%의 문서는 영어가 아닌 경우, 24%는 품질이 불충분한 경우, 12%는 중복 문서인 경우 삭제됩니다. 각 이전 단계에 대한 제거율(회색)과 전체적으로 유지된 비율(음영)을 보고합니다. 문서 준비 단계의 문서 수 %로 측정한 후 tokens으로 측정한 비율입니다.
그림 2: 매크로데이터 구체화의 후속 단계에서는 원래 커먼크롤에 있던 문서의 거의 90%가 제거됩니다. 특히 필터링과 중복 제거를 통해 사용 가능한 데이터가 절반으로 줄어듭니다. 약 50%의 문서는 영어가 아닌 경우, 24%는 품질이 불충분한 경우, 12%는 중복 문서인 경우 삭제됩니다. 각 이전 단계에 대한 제거율(회색)과 전체적으로 유지된 비율(음영)을 보고합니다. 문서 준비 단계의 문서 수 %로 측정한 후 토큰으로 측정한 비율입니다.