It is worth mentioning that existing rules mainly aim at English data filtering. Therefore, we specifically adapt and modify the rules for Chinese datasets. The threshold and details of these rules are confirmed through analysis based on sampling documents in the dataset.
기존 규칙들은 주로 영어 데이터 필터링을 목표로 한다는 점을 언급할 가치가 있습니다. 따라서 우리는 중국어 데이터셋에 맞게 규칙을 특별히 조정하고 수정했습니다. 이러한 규칙들의 임계값과 세부 사항은 데이터셋의 샘플링 문서에 기반한 분석을 통해 확인되었습니다.
기존 규칙은 주로 영어 데이터 필터링을 목표로 하므로 중국어 데이터 세트에 맞게 규칙을 구체적으로 조정하고 수정한다는 점을 언급할 필요가 있다. 이러한 규칙의 임계값과 세부 사항은 데이터 세트의 샘플 문서를 기반으로 한 분석을 통해 확인된다.