Cluster-based FiltersWe further use unsupervised semantic clustering to group web documents. This clustering process enables efficient identification and analysis of documents sharing similar semantic features. The clustered data are subsequently annotated with quality labels, providing essential references for the optimization of Yi's data mixture strategy. Documents identified as low-quality through automatic and manual verification are excluded from the dataset.
클러스터 기반 필터 우리는 웹 문서를 그룹화하기 위해 비지도 의미 클러스터링을 추가로 사용합니다. 이 클러스터링 과정은 유사한 의미적 특징을 공유하는 문서들을 효율적으로 식별하고 분석할 수 있게 합니다. 클러스터링된 데이터는 이후 품질 라벨로 주석이 달리며, 이는 Yi의 데이터 혼합 전략 최적화를 위한 필수적인 참고 자료를 제공합니다. 자동 및 수동 검증을 통해 저품질로 식별된 문서들은 데이터셋에서 제외됩니다.
클러스터 기반 필터본 연구에서는 비지도 시맨틱 클러스터링을 사용하여 웹 문서를 그룹화합니다. 이 클러스터링 프로세스를 통해 유사한 의미적 특징을 공유하는 문서를 효율적으로 식별하고 분석할 수 있습니다. 이후 클러스터링된 데이터에 품질 레이블을 추가하여 Yi의 데이터 혼합 전략 최적화를 위한 필수 참조를 제공합니다. 자동 및 수동 검증을 통해 저품질로 식별된 문서는 데이터 세트에서 제외됩니다.