Figure 3: **Models trained on \(\blacktriangled\) RefinedWeb alone outperform models trained on curated corpora.** Zero-shot performance averaged on our core-agg (left) and ext-agg (right) task aggregates (see Section 4.1 for details, and Figure 1 for results on main-agg). Existing open models fail to match the performance of the original GPT-3 series (left); however, models trained on RefinedWeb significantly outperform models trained on \(\blacktriangled\) The Pile: including our direct comparison model (right), ruling out our pretraining setup as the main source of increased performance. In fact, our RefinedWeb models even match the performance of the \(\blacksquare\) GPT-3 models.
그림 3: **\(\blacktriangled\) RefinedWeb만 학습한 모델이 큐레이션된 말뭉치에서 학습한 모델보다 성능이 뛰어납니다.** 핵심 집계(왼쪽) 및 확장 집계(오른쪽) 작업 집계에서 평균화된 zero-shot 성능(자세한 내용은 섹션 4.1 참조, 메인 집계에 대한 결과는 그림 1 참조). 기존 오픈 모델은 원래 GPT-3 시리즈(왼쪽)의 성능에 미치지 못하지만, RefinedWeb에서 학습한 모델은 \(\blacktriangled\) The Pile에서 학습한 모델보다 훨씬 뛰어난 성능을 보여줍니다: 직접 비교 모델을 포함하여 (오른쪽) 우리의 pretraining 설정이 성능 향상의 주요 원인이 아님을 배제합니다. 실제로 우리의 RefinedWeb 모델은 \(\blacksquare\) GPT-3 모델의 성능과도 일치합니다.
그림 3: **\(\blacktriangled\) RefinedWeb만 학습한 모델이 큐레이션된 말뭉치에서 학습한 모델보다 성능이 뛰어납니다.** 핵심 집계(왼쪽) 및 확장 집계(오른쪽) 작업 집계에서 평균화된 0-샷 성능(자세한 내용은 섹션 4.1 참조, 메인 집계에 대한 결과는 그림 1 참조). 기존 오픈 모델은 원래 GPT-3 시리즈(왼쪽)의 성능에 미치지 못하지만, RefinedWeb에서 학습한 모델은 \(\blacktriangled\) The Pile에서 학습한 모델보다 훨씬 뛰어난 성능을 보여줍니다: 직접 비교 모델을 포함하여 (오른쪽) 우리의 사전 학습 설정이 성능 향상의 주요 원인이 아님을 배제합니다. 실제로 우리의 RefinedWeb 모델은 \(\blacksquare\) GPT-3 모델의 성능과도 일치합니다.