Large language models are commonly trained on a mixture of filtered web data and curated "high-quality" corpora, such as social media conversations, books, or technical papers. This curation process is believed to be necessary to produce performant models with broad zero-shot generalization abilities. However, as larger models requiring pretraining on trillions of tokens are considered, it is unclear how scalable is curation and whether we will run out of unique high-quality data soon. At variance with previous beliefs, we show that properly filtered and deduplicated web data alone can lead to powerful models; even significantly outperforming models from the state-of-the-art trained on The Pile. Despite extensive filtering, the high-quality data we extract from the web is still plentiful, and we are able to obtain five trillion tokens from CommonCrawl. We publicly release an extract of 600 billion tokens from our RefinedWeb dataset, and 1.3/7.5B parameters language models trained on it*.
대규모 언어 모델은 일반적으로 소셜 미디어 대화, 책 또는 기술 논문과 같은 필터링된 웹 데이터와 엄선된 "고품질" 말뭉치를 혼합하여 학습합니다. 이러한 curation 프로세스는 광범위한 zero-shot generalization 기능을 갖춘 성능이 뛰어난 모델을 제작하는 데 필수적인 것으로 여겨집니다. 그러나 수조 개의 토큰에 대한 pretraining이 필요한 더 큰 모델을 고려할 때, curation의 확장성이 어느 정도인지, 그리고 곧 고품질의 고유 데이터가 부족해질지 여부는 불분명합니다. 이전의 믿음과는 달리, 적절하게 필터링되고 중복 제거된 웹 데이터만으로도 강력한 모델을 만들 수 있으며, 심지어 더 많은 데이터를 학습한 state-of-the-art 모델보다 훨씬 뛰어난 성능을 발휘할 수 있습니다. 광범위한 필터링에도 불구하고 웹에서 추출한 고품질 데이터는 여전히 풍부하여 CommonCrawl에서 5조 개의 토큰을 확보할 수 있었습니다. 우리는 RefinedWeb 데이터 세트에서 6,000억 개의 토큰을 추출하고, 이를 학습한 1.3/7.5B parameters 언어 모델을 공개적으로 공개합니다*.
대규모 언어 모델은 일반적으로 소셜 미디어 대화, 책 또는 기술 논문과 같은 필터링된 웹 데이터와 엄선된 '고품질' 말뭉치를 혼합하여 학습합니다. 이러한 큐레이션 프로세스는 광범위한 제로 샷 일반화 기능을 갖춘 성능이 뛰어난 모델을 제작하는 데 필수적인 것으로 여겨집니다. 그러나 수조 개의 토큰에 대한 사전 학습이 필요한 더 큰 모델을 고려할 때, 큐레이션의 확장성이 어느 정도인지, 그리고 곧 고품질의 고유 데이터가 부족해질지 여부는 불분명합니다. 이전의 믿음과는 달리, 적절하게 필터링되고 중복 제거된 웹 데이터만으로도 강력한 모델을 만들 수 있으며, 심지어 더 많은 데이터를 학습한 최신 기술의 모델보다 훨씬 뛰어난 성능을 발휘할 수 있습니다. 광범위한 필터링에도 불구하고 웹에서 추출한 고품질 데이터는 여전히 풍부하여 CommonCrawl에서 5조 개의 토큰을 확보할 수 있었습니다. 우리는 RefinedWeb 데이터 세트에서 6,000억 개의 토큰을 추출하고, 이를 학습한 1.3/75억 개의 파라미터 언어 모델을 공개적으로 공개합니다*.