Small-scale study.We first consider popular public web datasets (OSCAR-2019 (Ortiz Suarez et al., 2019), OSCAR-2022 (Abadji et al., 2021), C4 (Raffel et al., 2020)), The Pile (Gao et al., 2020) as the most popular publicly available curated dataset, and variations of RefinedWeb (RW-Raw, RW-Filtered, and RW as described in Section 3). For this first study, all models are trained with the same architecture and the same internal codebase; they are also all evaluated within the same framework-only pretraining datasets differ.
소규모 연구. 먼저 대중적인 공개 웹 데이터 세트(OSCAR-2019(Ortiz Suarez et al., 2019), OSCAR-2022(Abadji et al., 2021), C4(Raffel et al., 2020), 가장 대중적인 공개 커레이션 데이터 세트인 The Pile(Gao et al., 2020)과 RefinedWeb(RW-Raw, RW-Filtered 및 섹션 3에 설명된 RW)의 변형을 고려합니다. 이 첫 번째 연구에서는 모든 모델이 동일한 architecture와 동일한 내부 codebase로 훈련되며, 동일한 framework 내에서 평가되며, pretraining 데이터 세트만 다릅니다.
소규모 연구.먼저 대중적인 공개 웹 데이터 세트(OSCAR-2019(Ortiz Suarez et al., 2019), OSCAR-2022(Abadji et al., 2021), C4(Raffel et al., 2020), 가장 대중적인 공개 커레이션 데이터 세트인 The Pile(Gao et al., 2020)과 RefinedWeb(RW-Raw, RW-Filtered 및 섹션 3에 설명된 RW)의 변형을 고려합니다. 이 첫 번째 연구에서는 모든 모델이 동일한 아키텍처와 동일한 내부 코드베이스로 훈련되며, 동일한 프레임워크 내에서 평가되며, 사전 학습 데이터 세트만 다릅니다.