We also compare with pre-training on the Refined Web corpus Penedo et al. (2023). The dataset is also derived from the CommonCrawl, however has a more stringent filtering process. Our selection of Refined Web is for comparing synthetic rephrases to high quality subsets of web data, which were shown to achieve similar performance compared with curated datasets Penedo et al. (2023). For our experiments we used the first 3050 files and train for 300B tokens to match training on C4. We also conduct experiments with the first 1650 files to account for multiple epochs on the Refined Web dataset.
또한 Refined Web 코퍼스 Penedo et al. (2023)에 대한 pre-training과 비교합니다. 이 데이터 세트도 CommonCrawl에서 파생되었지만 더 엄격한 필터링 프로세스를 거쳤습니다. Refined Web을 선택한 이유는 합성 문구를 웹 데이터의 고품질 하위 집합과 비교하기 위해서이며, 이는 큐레이션된 데이터 세트 Penedo et al. (2023)과 비슷한 성능을 달성하는 것으로 나타났습니다. 실험을 위해 처음 3050개 파일을 사용했으며, C4에서의 훈련과 일치하도록 300B 토큰에 대해 훈련했습니다. 또한 Refined Web 데이터 세트에서 여러 에포크를 고려하기 위해 처음 1650개 파일로 실험을 수행했습니다.
또한 Refined Web 코퍼스 Penedo et al. (2023)에 대한 사전 학습과 비교합니다. 이 데이터 세트도 CommonCrawl에서 파생되었지만 더 엄격한 필터링 프로세스를 거쳤습니다. Refined Web을 선택한 이유는 합성 문구를 웹 데이터의 고품질 하위 집합과 비교하기 위해서이며, 이는 큐레이션된 데이터 세트 Penedo et al. (2023)과 비슷한 성능을 달성하는 것으로 나타났습니다. 실험을 위해 처음 3050개 파일을 사용했으며, C4에서의 훈련과 일치하도록 300B 토큰에 대해 훈련했습니다. 또한 Refined Web 데이터 세트에서 여러 에포크를 고려하기 위해 처음 1650개 파일로 실험을 수행했습니다.