Results on main-agg are presented in Figure 1, and in Figure 3 for core-agg and ext-agg. We find that open models consistently underperform models trained on private curated corpora, such as GPT-3-even when using a similar evaluation setup. Conversely, models trained on RefinedWeb are able to match the performance of the GPT-3 series using web data alone, even though common high-quality sources used in The Pile are excluded from RefinedWeb (see Table 14 in Appendix). Finally, we note that our internal model trained on The Pile performs in line with the BigScience Architecture and Scaling model; this highlights that our pretraining setup is unlikely to be the main source of increased performance for models trained on RefinedWeb.
주요 집계에 대한 결과는 그림 1에, core-agg와 ext-agg에 대한 결과는 그림 3에 나와 있습니다. 비슷한 평가 설정을 사용하는 경우에도 오픈 모델은 개인 커레이션 코퍼라로 학습된 모델보다 일관되게 성능이 떨어지는 것을 알 수 있습니다. 반대로, RefinedWeb으로 학습된 모델은 The Pile에서 사용되는 일반적인 고품질 소스가 제외되더라도 웹 데이터만으로도 GPT-3 시리즈의 성능에 맞출 수 있습니다(부록의 표 14 참조). 마지막으로, The Pile에 대해 학습된 내부 모델이 BigScience Architecture 및 Scaling 모델과 비슷한 수준의 성능을 발휘하는 것을 확인할 수 있습니다. 이는 사전 학습 설정이 RefinedWeb에서 학습된 모델의 주요 성능 향상 원인이 아닐 가능성이 높다는 것을 시사합니다.
주요 집계에 대한 결과는 그림 1에, 코어 집계와 익스텐션 집계에 대한 결과는 그림 3에 나와 있습니다. 비슷한 평가 설정을 사용하는 경우에도 오픈 모델은 개인 커레이션 코퍼라로 학습된 모델보다 일관되게 성능이 떨어지는 것을 알 수 있습니다. 반대로, RefinedWeb으로 학습된 모델은 더 많은 더미에서 사용되는 일반적인 고품질 소스가 제외되더라도 웹 데이터만으로도 GPT-3 시리즈의 성능에 맞출 수 있습니다(부록의 표 14 참조). 마지막으로, 더 파일에 대해 학습된 내부 모델이 빅사이언스 아키텍처 및 스케일링 모델과 비슷한 수준의 성능을 발휘하는 것을 확인할 수 있습니다. 이는 사전 학습 설정이 RefinedWeb에서 학습된 모델의 주요 성능 향상 원인이 아닐 가능성이 높다는 것을 시사합니다.