We deliberately set min points per centroids low and max points per centroid high so that faiss does not attempt to manually balance the clusters while doing K-Means. Sorscher et al. [47] found that explicitly class-balancing is important: they introduce the "class balance score" (see Section H of Sorscher et al. [47]) which is the expectation of the quantity \(\frac{\text{size of majority class}}{\text{size of minority class}}\) over all pairs of classes. They then set a hard limit for the class balance score of 0.5, meaning that "every class has at least 50% of the images that it would have when pruning all classes equally" [47]. We consider the unsupervised-learning analog of the class-balance score, which we refer to as the "cluster balance" score. The cluster balance score is the expectation of the quantity \(\frac{\text{size of bigger cluster}}{\text{size of smaller cluster}}\) over all pairs of clusters. Across all of our data selection methods (and choices for R) we find that this value is generally equal to or bigger than \(0.5\) without any explicit intervention. For this reason, we do not explicitly cluster balance, although we note that changing how many points are sampled from each cluster (based on properties of the cluster) is very interesting future work.
우리는 의도적으로 각 중심점당 최소 포인트 수를 낮게 설정하고 최대 포인트 수를 높게 설정하여, faiss가 K-Means를 수행할 때 클러스터를 수동으로 균형 맞추려 하지 않도록 했습니다. Sorscher 등 [47]은 명시적으로 클래스 균형을 맞추는 것이 중요하다고 발견했습니다: 그들은 "클래스 균형 점수" (Sorscher 등 [47]의 섹션 H 참조)를 도입했으며, 이는 모든 클래스 쌍에 대해 \(\frac{\text{다수 클래스의 크기}}{\text{소수 클래스의 크기}}\)의 기대값입니다. 그들은 클래스 균형 점수의 하드 한계를 0.5로 설정했으며, 이는 "모든 클래스가 모든 클래스를 동일하게 가지치기할 때 가질 이미지의 최소 50%를 갖는다"는 의미입니다 [47]. 우리는 클래스 균형 점수의 비지도 학습 유사체를 고려하며, 이를 "클러스터 균형" 점수라고 부릅니다. 클러스터 균형 점수는 모든 클러스터 쌍에 대해 \(\frac{\text{더 큰 클러스터의 크기}}{\text{더 작은 클러스터의 크기}}\)의 기대값입니다. 우리의 모든 데이터 선택 방법 (및 R에 대한 선택)에서 이 값이 명시적인 개입 없이 일반적으로 0.5 이상임을 발견했습니다. 이러한 이유로, 우리는 명시적으로 클러스터 균형을 맞추지 않지만, 각 클러스터에서 샘플링되는 포인트 수를 변경하는 것 (클러스터의 속성에 기반하여)이 매우 흥미로운 미래 작업임을 언급합니다.
K-Means를 수행하는 동안 faiss가 클러스터의 수를 수동으로 조정하지 않도록 최소 포인트 백분위수를 낮게, 최대 포인트 백분위수를 높게 설정했습니다. Sorscher 외[47]는 명시적으로 클래스 밸런싱이 중요하다는 것을 발견했으며, 모든 클래스 쌍에 대해 \(\frac{\text{다수 클래스 크기}}{\text{소수 클래스 크기}}\) 수량의 기대값인 "클래스 밸런스 점수"[47]를 도입했습니다. 그런 다음 클래스 밸런스 점수에 대한 하드 제한을 0.5로 설정하여 "모든 클래스가 모든 클래스를 동일하게 가지치기할 때 갖는 이미지의 50% 이상을 갖도록" [47] 합니다. 우리는 클래스 밸런스 점수의 비지도 학습 아날로그를 고려하며, 이를 "클러스터 밸런스" 점수라고 합니다. 클러스터 밸런스 점수는 모든 클러스터 쌍에 대해 \(\frac{\text{더 큰 클러스터의 크기}}{\text{더 작은 클러스터의 크기}}\) 수량의 기대값입니다. 모든 데이터 선택 방법(및 R 선택)에서 이 값은 일반적으로 명시적인 개입 없이도 일반적으로 0.5와 같거나 그보다 크다는 것을 알 수 있습니다. 이러한 이유로 명시적으로 클러스터 밸런스를 조정하지 않지만, 클러스터의 속성에 따라 각 클러스터에서 샘플링되는 포인트 수를 변경하는 것은 매우 흥미로운 향후 연구라고 생각합니다.