We report results on the small-agg in Table 5. First, we find that improvements from filtering are not systematic. On The Pile, we had to adjust our line length and characters ratio heuristics to avoid expunging books and code. Despite improvements on OSCAR-21.09, C4, and The Pile, our filters worsen performance on OSCAR-22.01; generally, removal rates from filtering do not seem strongly correlated with downstream accuracy. Conversely, deduplication delivers a steady boost across all datasets, and removal rates are better correlated with changes in performance. We find OSCAR-21.09 and C4 to be already well deduplicated, while The Pile and OSCAR-22.01 exhibit 40-60% duplicates. The base version of OSCAR-22.01 is distributed without deduplication; for The Pile, this is consistent with the findings of Zhang et al. (2022). Finally, combining filtering and deduplication results in further improvements; interestingly, although performance is now more uniform across datasets, differences remain, suggesting that flaws in the original text extraction and processing can't be fully compensated for.
표 5에 small-agg에 대한 결과를 보고합니다. 먼저, 필터링을 통한 개선이 체계적이지 않다는 것을 알 수 있습니다. The Pile에서 우리는 책과 코드를 삭제하지 않기 위해 라인 길이와 문자 비율 heuristics를 조정해야 했습니다. OSCAR-21.09, C4 및 The Pile에서 개선되었음에도 불구하고 필터는 OSCAR-22.01의 성능을 악화시키며, 일반적으로 필터링으로 인한 제거율은 downstream 정확도와 강한 상관관계가 없는 것으로 보입니다. 반대로 deduplication은 모든 데이터 세트에서 꾸준한 성능 향상을 가져다주며, 제거율은 성능 변화와 더 밀접한 상관관계가 있습니다. OSCAR-21.09와 C4는 이미 잘 deduplication된 것으로 나타났으며, The Pile과 OSCAR-22.01은 40~60%의 중복이 있는 것으로 나타났습니다. OSCAR-22.01의 기본 버전은 deduplication 없이 배포되며, 이는 Zhang 등(2022)의 연구 결과와 일치합니다. 마지막으로, 필터링과 deduplication을 결합하면 더 많은 개선 효과를 얻을 수 있으며, 흥미롭게도 이제 데이터 세트 전체에서 성능이 더 균일해졌지만 차이가 남아 있어 원본 텍스트 추출 및 처리의 결함을 완전히 보완할 수 없음을 시사합니다.
표 5에 소규모 집계에 대한 결과를 보고합니다. 먼저, 필터링을 통한 개선이 체계적이지 않다는 것을 알 수 있습니다. 더 파일에서 우리는 책과 코드를 삭제하지 않기 위해 라인 길이와 문자 비율 휴리스틱을 조정해야 했습니다. OSCAR-21.09, C4 및 The Pile에서 개선되었음에도 불구하고 필터는 OSCAR-22.01의 성능을 악화시키며, 일반적으로 필터링으로 인한 제거율은 다운스트림 정확도와 강한 상관관계가 없는 것으로 보입니다. 반대로 중복 제거는 모든 데이터 세트에서 꾸준한 성능 향상을 가져다주며, 제거율은 성능 변화와 더 밀접한 상관관계가 있습니다. OSCAR-21.09와 C4는 이미 잘 중복 제거된 것으로 나타났으며, 더 파일과 OSCAR-22.01은 40~60%의 중복이 있는 것으로 나타났습니다. OSCAR-22.01의 기본 버전은 중복 제거 없이 배포되며, 이는 Zhang 등(2022)의 연구 결과와 일치합니다. 마지막으로, 필터링과 중복 제거를 결합하면 더 많은 개선 효과를 얻을 수 있으며, 흥미롭게도 이제 데이터 세트 전체에서 성능이 더 균일해졌지만 차이가 남아 있어 원본 텍스트 추출 및 처리의 결함을 완전히 보완할 수 없음을 시사합니다.