\begin{table}
\begin{tabular}{c c c c c c c c} \hline \hline \multicolumn{3}{c}{**Massive web datasets**} & \multicolumn{2}{c}{**Curated**} & **Ours** & \\ \hline  & OSCAR-21.09 & OSCAR-22.01 & C4 & \(\blacktriangledown\) The Pile & RW-Raw & RW-Filtered & \(\blacklozenge\) RefinedWeb \\ \hline
**1B@27GT** & 55.0\% & 52.7\% & 55.7\% & 53.4\% & 52.7\% & 54.3\% & **56.2\%** \\
**3B@60GT** & 59.1\% & 55.9\% & 59.6\% & 57.9\% & 57.4\% & 58.2\% & **59.8\%** \\ \hline \hline \end{tabular}
\end{table}
Table 4: **Curation is not a silver bullet for zero-shot generalization: small-scale models trained on \(\blacklozenge\) RefinedWeb outperform models trained on web data (C4, OSCAR), and on curated corpora (\(\blacktriangledown\) The Pile). Average accuracy in zero-shot on the small-agg aggregate. All models trained with identical architectures and pretraining hyperparameters. We find that OSCAR-22.01 underperforms other datasets signficantly, perhaps because deduplication is only optional. C4 is a strong baseline, with OSCAR-21.09 lagging slightly behind, but we find that RefinedWeb outperforms both web datasets and the most popular curated dataset, The Pile. Both filtering and deduplication contribute significantly to improving zero-shot performance.**the BigScience Architecture and Scaling Pile model (Scao et al., 2022), PaLM-8B (Chowdhery et al., 2022), Aleph Alpha Luminous 13B (Aleph Alpha, 2023), the Pythia series (Biderman et al., 2023), and the Cerebras-GPT series (Dey et al., 2023). For GPT-3, we distinguish between results obtained through the API (babbage and curie) with the the EleutherAI LM evaluation harness (Gao et al., 2021) (*), and results reported in their paper, with a different evaluation setup (\(\dagger\)). Note that for PaLM and OPT, results were also obtained with a different evaluation suite (\(\dagger\)), while for other models they were obtained with the evaluation harness as well (*), allowing for more direct comparisons.
\begin{table}
\begin{tabular}{c c c c c c c c} \hline \hline \multicolumn{3}{c}{**Massive web datasets**} & \multicolumn{2}{c}{**Curated**} & **Ours** & \\ \hline  & OSCAR-21.09 & OSCAR-22.01 & C4 & \(\blacktriangledown\) The Pile & RW-Raw & RW-Filtered & \(\blacklozenge\) RefinedWeb \\ \hline
**1B@27GT** & 55.0\% & 52.7\% & 55.7\% & 53.4\% & 52.7\% & 54.3\% & **56.2\%** \\
**3B@60GT** & 59.1\% & 55.9\% & 59.6\% & 57.9\% & 57.4\% & 58.2\% & **59.8\%** \\ \hline \hline \end{tabular}
\end{table}
표 4: **zero-shot 일반화를 위한 실버 불릿이 아닌 큐레이션: \(\blacklozenge\) RefinedWeb에서 훈련된 소규모 모델이 웹 데이터(C4, OSCAR)와 큐레이션된 코퍼스(\(\blacktriangledown\) The Pile)에서 훈련된 모델보다 성능이 우수합니다. 소규모 집계에서 zero-shot의 평균 정확도. 모든 모델은 동일한 아키텍처와 사전 학습 하이퍼파라미터로 훈련되었습니다. OSCAR-22.01은 중복 제거가 선택 사항일 수 있기 때문에 다른 데이터 세트보다 크게 성능이 떨어지는 것을 발견했습니다. C4는 강력한 baseline이며, OSCAR-21.09는 약간 뒤처지지만, RefinedWeb이 두 웹 데이터 세트와 가장 인기 있는 큐레이션 데이터 세트인 The Pile보다 성능이 뛰어나다는 것을 발견했습니다. 필터링과 중복 제거는 모두 zero-shot 성능을 개선하는 데 크게 기여합니다.**BigScience Architecture 및 Scaling Pile 모델(Scao et al., 2022), PaLM-8B(Chowdhery et al., 2022), Aleph Alpha Luminous 13B(Aleph Alpha, 2023), Pythia 시리즈(Biderman et al., 2023), Cerebras-GPT 시리즈(Dey et al., 2023). GPT-3의 경우, API(babbage 및 curie)를 통해 얻은 결과와 EleutherAI LM 평가 harness(*), 그리고 다른 평가 설정으로 보고된 결과(\(\dagger\))를 구분합니다. PaLM과 OPT의 경우 다른 평가 제품군(\(\dagger\))으로 결과를 얻었지만, 다른 모델의 경우 평가 harness(*), 즉 보다 직접적인 비교가 가능한 결과를 얻었습니다.
\begin{table}
\begin{tabular}{c c c c c c c c} \hline \hline \multicolumn{3}{c}{**Massive web datasets**} & \multicolumn{2}{c}{**Curated**} & **Ours** & \\ \hline  & OSCAR-21.09 & OSCAR-22.01 & C4 & \(\blacktriangledown\) The Pile & RW-Raw & RW-Filtered & \(\blacklozenge\) RefinedWeb \\ \hline
**1B@27GT** & 55.0\% & 52.7\% & 55.7\% & 53.4\% & 52.7\% & 54.3\% & **56.2\%** \\
**3B@60GT** & 59.1\% & 55.9\% & 59.6\% & 57.9\% & 57.4\% & 58.2\% & **59.8\%** \\ \hline \hline \end{tabular}
\end{table}
표 4: **제로 샷 일반화를 위한 실버 불릿이 아닌 큐레이션: \(\blacklozenge\) RefinedWeb에서 훈련된 소규모 모델이 웹 데이터(C4, OSCAR)와 큐레이션된 코퍼스(\(\blacktriangledown\) The Pile)에서 훈련된 모델보다 성능이 우수합니다. 소규모 집계에서 제로 샷의 평균 정확도. 모든 모델은 동일한 아키텍처와 사전 학습 하이퍼파라미터로 훈련되었습니다. OSCAR-22.01은 중복 제거가 선택 사항일 수 있기 때문에 다른 데이터 세트보다 크게 성능이 떨어지는 것을 발견했습니다. C4는 강력한 기준선이며, OSCAR-21.09는 약간 뒤처지지만, RefinedWeb이 두 웹 데이터 세트와 가장 인기 있는 큐레이션 데이터 세트인 The Pile보다 성능이 뛰어나다는 것을 발견했습니다. 필터링과 중복 제거는 모두 제로 샷 성능을 개선하는 데 크게 기여합니다.**빅사이언스 아키텍처 및 스케일링 파일 모델(Scao et al., 2022), PaLM-8B(Chowdhery et al., 2022), 알레프 알파 루미너스 13B(Aleph Alpha, 2023), 피티아 시리즈(Biderman et al., 2023), 세레브라스-GPT 시리즈(Dey et al., 2023). GPT-3의 경우, API(babbage 및 curie)를 통해 얻은 결과와 EleutherAI LM 평가 하네스(*), 그리고 다른 평가 설정으로 보고된 결과(\(\dagger\))를 구분합니다. PaLM과 OPT의 경우 다른 평가 제품군(\(\dagger\))으로 결과를 얻었지만, 다른 모델의 경우 평가 하네스(*), 즉 보다 직접적인 비교가 가능한 결과를 얻었습니다.