All methods introduced in Section 3.4 involve clustering embeddings using K-Means. Our starting training dataset CC-dedup contains roughly 600 million documents in total. Running K-Means clustering on all 600 million 768-sized vectors would take a considerable amount of compute. Instead, we follow previous work [1, 47] and randomly sample roughly 100M documents with which to calculate centroids.
섹션 3.4에서 소개한 모든 방법은 K-Means를 사용하여 embeddings을 클러스터링하는 것을 포함합니다. 시작 훈련 데이터 세트 CC-dedup에는 총 약 6억 개의 문서가 포함되어 있습니다. 6억 개의 768 크기 벡터 모두에 대해 K-Means 클러스터링을 실행하려면 상당한 양의 컴퓨팅 리소스가 필요합니다. 대신, 이전 작업 [1, 47]에 따라 centroids를 계산할 대략 1억 개의 문서를 무작위로 샘플링합니다.
섹션 3.4에서 소개한 모든 방법은 K-Means를 사용하여 임베딩을 클러스터링하는 것을 포함합니다. 시작 훈련 데이터 세트 CC-dedup에는 총 약 6억 개의 문서가 포함되어 있습니다. 6억 개의 768 크기 벡터 모두에 대해 K-Means 클러스터링을 실행하려면 상당한 양의 컴퓨팅 리소스가 필요합니다. 대신, 이전 작업 [1, 47]에 따라 중심을 계산할 대략 1억 개의 문서를 무작위로 샘플링합니다.