\(\bullet\)_Data cleaning_. After data collection, it is crucial to clean the raw corpus to enhance its quality as possible. First, deduplication is commonly used in existing work [99, 141, 229]. Second, low-quality text, toxic content, and data with privacy concerns should be removed at different granularities (_e.g.,_ document, passage or sentence). In practice, both heuristic and classifier-based methods can be employed for quality and toxicity filtering (_e.g.,_ CCNet [241], fastText [242], and Data-Juicer [243]). Third, with the cleaned data, one can further unify or specify the format for pre-training data, and perform the tokenization by training the tokenizer on the filtered and deduplicated corpus with libraries like SentencePiece [226].
\(\bullet\)_Data cleaning_. 데이터 수집 후에는 원시 corpus의 품질을 최대한 높이기 위해 정리하는 것이 중요합니다. 첫째, deduplication은 기존 작업[99, 141, 229]에서 일반적으로 사용됩니다. 둘째, 품질이 낮은 텍스트, 유해 콘텐츠, 개인정보 보호 문제가 있는 데이터는 문서, 구절 또는 문장 등 다양한 세분성으로 제거해야 합니다. 실제로 heuristic 방식과 classifier 기반 방식(예: CCNet [241], fastText [242], Data-Juicer [243])을 모두 품질 및 독성 필터링에 사용할 수 있습니다. 셋째, 정리된 데이터를 통해 사전 학습 데이터의 형식을 통일하거나 지정하고, 필터링 및 중복 제거된 corpus에 대해 tokenization 도구를 학습시켜 tokenization을 수행할 수 있습니다.
\(\bullet\)_데이터 정리_. 데이터 수집 후에는 원시 코퍼스의 품질을 최대한 높이기 위해 정리하는 것이 중요합니다. 첫째, 중복 제거는 기존 작업[99, 141, 229]에서 일반적으로 사용됩니다. 둘째, 품질이 낮은 텍스트, 유해 콘텐츠, 개인정보 보호 문제가 있는 데이터는 문서, 구절 또는 문장 등 다양한 세분성으로 제거해야 합니다. 실제로 휴리스틱 방식과 분류기 기반 방식(예: CCNet [241], fastText [242], Data-Juicer [243])을 모두 품질 및 독성 필터링에 사용할 수 있습니다. 셋째, 정리된 데이터를 통해 사전 학습 데이터의 형식을 통일하거나 지정하고, 필터링 및 중복 제거된 코퍼스에 대해 토큰화 도구를 학습시켜 토큰화를 수행할 수 있습니다.