We now validate that RefinedWeb can be used to train powerful models, matching the zero-shot performance obtained with curated corpora and state-of-the-art language models. We first discuss our evaluation and pretraining setup, and models with which we compare. We perform experiments at small scale to internally compare with other popular datasets, and ablate the three main stages of RefinedWeb (raw, filtered, final). Then, we scale to 1B and 7B models trained on 350GT to compare with state-of-the-art models. Finally, we apply the MDR pipeline to existing pretraining datasets, and show that it can potentially deliver further improvements.
이제 RefinedWeb을 사용하여 강력한 모델을 훈련할 수 있으며, 엄선된 말뭉치와 state-of-the-art language models로 얻은 zero-shot 성능과 일치하는지 확인합니다. 먼저 평가 및 pretraining 설정과 비교할 모델에 대해 설명합니다. 먼저 소규모로 실험을 수행하여 다른 인기 있는 데이터 세트와 내부적으로 비교하고, RefinedWeb의 세 가지 주요 단계(원시, 필터링, 최종)를 절제합니다. 그런 다음 350GT에서 훈련된 1B 및 7B models로 확장하여 state-of-the-art models와 비교합니다. 마지막으로 기존 pretraining 데이터 세트에 MDR 파이프라인을 적용하여 잠재적으로 더 많은 개선 효과를 얻을 수 있음을 보여줍니다.
이제 RefinedWeb을 사용하여 강력한 모델을 훈련할 수 있으며, 엄선된 말뭉치와 최첨단 언어 모델로 얻은 제로샷 성능과 일치하는지 확인합니다. 먼저 평가 및 사전 학습 설정과 비교할 모델에 대해 설명합니다. 먼저 소규모로 실험을 수행하여 다른 인기 있는 데이터 세트와 내부적으로 비교하고, RefinedWeb의 세 가지 주요 단계(원시, 필터링, 최종)를 절제합니다. 그런 다음 350GT에서 훈련된 10억 및 70억 모델로 확장하여 최첨단 모델과 비교합니다. 마지막으로 기존 사전 학습 데이터 세트에 MDR 파이프라인을 적용하여 잠재적으로 더 많은 개선 효과를 얻을 수 있음을 보여줍니다.