Our pretraining data cleaning system features a sophisticated filtering pipeline based on language, heuristic textual features, perplexity, semantics, topic, and safety, as well as a cascaded deduplication process based on paragraph, MinHash, and exact matching. This thorough pipeline leads to a much higher removal ratio than existing pipelines like CCNet [80], RefinedWeb [56] and RedPajama [13], which we believe is key to the success of data engineering. The underlying principle is although pretraining requires data scaling, one would like to make sure the data used are of high quality, rather than training the model on large raw data, i.e., we prefer 3T tokens over sophisticated engineering over 10T tokens without extensive filtering. Regarding the model architecture, we use standard implementation of the Transformer architecture with Grouped-Query Attention (GQA) [1], SwiGLU [68] activation, and RoPE with an adjusted base frequency (RoPE ABF) [82]. This design choice is the standard approach rooted from the Transformer original paper [78], later modified by GPT-3 and Chinchilla [30], then followed by LLaMA [77], Baichuan [84], Qwen [3] and many related works.
사전 학습 데이터 정리 시스템은 언어, heuristic 텍스트 기능, perplexity, semantics, topic 및 safety를 기반으로 한 정교한 filtering 파이프라인과 단락, MinHash 및 정확한 일치를 기반으로 한 계단식 deduplication 프로세스를 특징으로 합니다. 이 철저한 파이프라인은 기존 파이프라인인 CCNet [80], RefinedWeb [56] 및 RedPajama [13]보다 훨씬 높은 제거 비율로 이어지며, 이는 데이터 엔지니어링의 성공에 핵심적인 요소라고 생각합니다. 기본 원칙은 사전 학습에는 데이터 scaling이 필요하지만, 모델을 대량의 원시 데이터로 학습하는 것이 아니라 사용되는 데이터의 품질이 높은지 확인하는 것이며, 이는 광범위한 filtering 없이 10T tokens보다 정교한 엔지니어링을 통해 3T tokens을 선호한다는 것입니다. 모델 아키텍처와 관련하여, 우리는 Grouped-Query Attention (GQA) [1], SwiGLU [68] activation, 조정된 기본 주파수(RoPE ABF) [82]를 사용하여 표준 구현의 Transformer 아키텍처를 사용합니다. 이 설계 방식은 Transformer 원문 [78]에 뿌리를 둔 표준 접근 방식으로, 이후 GPT-3 및 Chinchilla [30]에 의해 수정된 후 LLaMA [77], Baichuan [84], Qwen [3] 및 많은 관련 연구에 의해 채택되었습니다.
사전 학습 데이터 정리 시스템은 언어, 휴리스틱 텍스트 기능, 당혹감, 의미론, 주제 및 안전성을 기반으로 한 정교한 필터링 파이프라인과 단락, MinHash 및 정확한 일치를 기반으로 한 계단식 중복 제거 프로세스를 특징으로 합니다. 이 철저한 파이프라인은 기존 파이프라인인 CCNet [80], RefinedWeb [56] 및 RedPajama [13]보다 훨씬 높은 제거 비율로 이어지며, 이는 데이터 엔지니어링의 성공에 핵심적인 요소라고 생각합니다. 기본 원칙은 사전 학습에는 데이터 확장이 필요하지만, 모델을 대량의 원시 데이터로 학습하는 것이 아니라 사용되는 데이터의 품질이 높은지 확인하는 것이며, 이는 광범위한 필터링 없이 10T 토큰보다 정교한 엔지니어링을 통해 3T 토큰을 선호한다는 것입니다. 모델 아키텍처와 관련하여, 우리는 그룹화된 쿼리 어텐션(GQA) [1], SwiGLU [68] 활성화, 조정된 기본 주파수(RoPE ABF) [82]를 사용하여 표준 구현의 트랜스포머 아키텍처를 사용합니다. 이 설계 방식은 트랜스포머 원문 [78]에 뿌리를 둔 표준 접근 방식으로, 이후 GPT-3 및 친칠라 [30]에 의해 수정된 후 LLaMA [77], 바이추안 [84], 첸 [3] 및 많은 관련 연구에 의해 채택되었습니다.