Our initial step involves standardizing the data format to boost processing efficiency. Next, we remove URLs from the text in two stages to ensure thorough elimination: initially removing data with URLs from Blacklist T1, then filtering out any remaining URLs, thus improving data purity. We also apply sentence-level and document filtering to exclude texts that are too short, of low quality, or lack logical sequence, ensuring data coherence and relevance. Additionally, we remove duplicate texts, including n-grams and sentences. Detailed rules are listed as Appendix A.
우리의 첫 번째 단계는 처리 효율성을 높이기 위해 데이터 형식을 표준화하는 것입니다. 다음으로, 텍스트에서 URL을 두 단계에 걸쳐 제거하여 철저한 제거를 보장합니다: 먼저 Blacklist T1에서 URL이 포함된 데이터를 제거한 후, 남아 있는 URL을 필터링하여 데이터 순도를 향상시킵니다. 또한, 문장이 너무 짧거나, 품질이 낮거나, 논리적 순서가 부족한 텍스트를 제외하기 위해 문장 수준 및 문서 필터링을 적용하여 데이터의 일관성과 관련성을 보장합니다. 추가로, n-그램 및 문장을 포함한 중복 텍스트를 제거합니다. 자세한 규칙은 부록 A에 나와 있습니다.
처리 효율성을 높이기 위해 데이터 형식을 표준화하는 것이 첫 번째 단계입니다. 다음으로, URL이 포함된 데이터를 블랙리스트 T1에서 처음 제거한 다음 남아 있는 URL을 필터링하여 데이터 순도를 높이는 두 단계로 텍스트에서 URL을 제거하여 철저하게 제거합니다. 또한 문장 수준 및 문서 필터링을 적용하여 너무 짧거나 품질이 낮거나 논리적 순서가 없는 텍스트를 제외하여 데이터의 일관성과 관련성을 보장합니다. 또한 n-그램 및 문장을 포함한 중복 텍스트를 제거합니다. 자세한 규칙은 부록 A에 나와 있습니다.