As an example, in **Falcon40B**[124], Penedo et al. showed that properly filtered and deduplicated web data alone can lead to powerful models; even significantly outperforming models from the state-of-the-art trained on The Pile. Despite extensive filtering, they were able to obtain five trillion tokens from CommonCrawl. They also released an extract of 600 billion tokens from our REFINEDWEB dataset, and 1.3/7.5B parameters language models trained on it. 27 shows the Refinement process of CommonCrawl data by this work.
한 예로, Penedo 등은 **Falcon40B**[124]에서 적절하게 필터링하고 중복 제거된 웹 데이터만으로도 강력한 모델을 만들 수 있으며, 심지어 The Pile에서 학습된 최신 모델보다 훨씬 뛰어난 성능을 보여주었습니다. 광범위한 필터링에도 불구하고 그들은 CommonCrawl에서 5조 개의 tokens을 얻을 수 있었습니다. 또한 REFINEDWEB 데이터 세트에서 6,000억 개의 tokens을 추출하고 이를 학습한 1.3/7.5B parameters language models을 공개했습니다. 그림 27은 이 작업에 의한 CommonCrawl 데이터의 정제 과정을 보여줍니다.
한 예로, Penedo 등은 **Falcon40B**[124]에서 적절하게 필터링하고 중복 제거된 웹 데이터만으로도 강력한 모델을 만들 수 있으며, 심지어 The Pile에서 학습된 최신 모델보다 훨씬 뛰어난 성능을 보여주었습니다. 광범위한 필터링에도 불구하고 그들은 CommonCrawl에서 5조 개의 토큰을 얻을 수 있었습니다. 또한 REFINEDWEB 데이터 세트에서 6,000억 개의 토큰을 추출하고 이를 학습한 1.3/75억 파라미터 언어 모델을 공개했습니다. 그림 27은 이 작업에 의한 CommonCrawl 데이터의 정제 과정을 보여줍니다.