As LLMs are widely adopted, models trained past the recommendations of scaling laws are bound to become increasingly common to amortize inference costs (Touvron et al., 2023). This will further drive the need for pretraining datasets with trillions of tokens, an order of magnitude beyond publicly available corpora. We have demonstrated that stringent filtering and deduplication could result in a five trillion tokens web only dataset suitable to produce models competitive with the state-of-the-art, even outperforming LLMs trained on curated corpora. We publicly release a 600GT extract of RefinedWeb, and note that RefinedWeb has already been used to train state-of-the-art language models, such as Falcon-40B (Almazrouei et al., 2023).
LLM이 널리 채택됨에 따라 scaling laws의 권장 사항을 지나 학습된 모델은 추론 비용을 상각하기 위해 점점 더 보편화될 수밖에 없습니다(Touvron et al., 2023). 이는 공개적으로 사용 가능한 말뭉치보다 몇 배나 큰 수준의 수조 개의 토큰을 가진 사전 학습 데이터 세트에 대한 필요성을 더욱 촉진할 것입니다. 엄격한 필터링과 중복 제거를 통해 엄선된 말뭉치에서 학습된 LLM보다 더 나은 성능을 발휘하는 최첨단 모델을 제작하는 데 적합한 5조 토큰 웹 전용 데이터 세트를 만들 수 있음을 입증했습니다. 600GT 규모의 RefinedWeb 추출본을 공개하며, RefinedWeb이 이미 Falcon-40B(Almazrouei et al., 2023)와 같은 최첨단 언어 모델을 훈련하는 데 사용되었음을 알려드립니다.
LLM이 널리 채택됨에 따라 추적 규칙을 지나 학습된 모델은 추론 비용을 상각하기 위해 점점 더 보편화될 수밖에 없습니다(Touvron et al., 2023). 이는 공개적으로 사용 가능한 말뭉치보다 몇 배나 큰 수준의 수조 개의 토큰을 가진 사전 학습 데이터 세트에 대한 필요성을 더욱 촉진할 것입니다. 엄격한 필터링과 중복 제거를 통해 엄선된 말뭉치에서 학습된 LLM보다 더 나은 성능을 발휘하는 최첨단 모델을 제작하는 데 적합한 5조 토큰 웹 전용 데이터 세트를 만들 수 있음을 입증했습니다. 600GT 규모의 RefinedWeb 추출본을 공개하며, RefinedWeb이 이미 Falcon-40B(Almazrouei et al., 2023)와 같은 최첨단 언어 모델을 훈련하는 데 사용되었음을 알려드립니다.