Results averaged on the small-=+ aggregate of 6 tasks are presented in Table 4. We observe relatively strong performance of all web datasets compared to The Pile, showcasing that curation is not a silver bullet for performant language models. We find C4 to be a strong pretraining dataset, in line with the findings of Scao et al. (2022)-however, The Pile comparatively underperforms more in our benchmarks. The relatively disappointing results on OSCAR-22.01 may be due to the main version of the dataset being distributed without deduplication. Regarding RefinedWeb, both filtering and deduplication significantly improve performance.
6개의 작업의 작은-=+ 집계의 평균 결과는 표 4에 나와 있습니다. The Pile과 비교하여 모든 웹 데이터 세트의 상대적으로 강력한 성능을 관찰할 수 있으며, 이는 큐레이션이 성능이 뛰어난 언어 모델을 위한 실탄이 아니라는 것을 보여줍니다. C4는 Scao 등(2022)의 연구 결과와 일치하는 강력한 pretraining 데이터 세트인 것으로 나타났지만, The Pile은 비교적 벤치마크에서 더 저조한 성능을 보였습니다. OSCAR-22.01의 상대적으로 실망스러운 결과는 데이터 세트의 주요 버전이 deduplication 없이 배포되었기 때문일 수 있습니다. RefinedWeb의 경우 filtering과 deduplication이 모두 성능을 크게 향상시킵니다.
6개의 작업의 작은-=+ 집계의 평균 결과는 표 4에 나와 있습니다. 더 파일과 비교하여 모든 웹 데이터 세트의 상대적으로 강력한 성능을 관찰할 수 있으며, 이는 큐레이션이 성능이 뛰어난 언어 모델을 위한 실탄이 아니라는 것을 보여줍니다. C4는 Scao 등(2022)의 연구 결과와 일치하는 강력한 사전 학습 데이터 세트인 것으로 나타났지만, 더 파일은 비교적 벤치마크에서 더 저조한 성능을 보였습니다. OSCAR-22.01의 상대적으로 실망스러운 결과는 데이터 세트의 주요 버전이 중복 제거 없이 배포되었기 때문일 수 있습니다. RefinedWeb의 경우 필터링과 중복 제거가 모두 성능을 크게 향상시킵니다.