Figure A5 shows the overlap between datasets selected by SemDeDup and SSL Prototypes. While the two methods do not arrive at the same set of data points, there is a significant overlap between the datasets curated by the two methods. We hypothesize that this is because both SSL prototypes and SemDeDup prune away dense regions of space surrounding cluster centroids: by definition, SemDeDup sparsifies dense regions of space within a cluster; similarly, by definition, SSL prototypes will prune away datapoints close to the cluster centroids. Since K-means clustering places centroids in dense regions of space (see Figure A6 where we observe that the distribution of cosine distances to cluster centroid is skewed right), we know that the regions of space surroundings centroids will be dense, and expect SSL prototypes and SemDeDup to have significant overlap. Qualitatively, we inspect a few examples of points close to cluster centroids in Figure A3, Figure A4, Figure A5, and see that examples close to cluster centroids can be semantically redundant (e.g. templates). Therefore, it makes sense that any reasonable data selection strategy would prioritize sparsifying these dense regions of space surrounding cluster centroids. As mentioned in Section 3.4, sparsifying these dense regions of space containing excessive semantic duplicates is the original motiviation behind D4. Asshown in Figure 7, omitting the re-clustering step significantly worsens performance, and we observe in the rightmost plot of Figure 7 that SemDeDup indeed removes duplicate-driven clusters.
그림 A5는 SemDeDup과 SSL Prototypes에 의해 선택된 데이터 세트 간의 중첩을 보여줍니다. 두 방법이 동일한 데이터 포인트 집합에 도달하지는 않지만 두 방법에 의해 큐레이션된 데이터 세트 간에는 상당한 중복이 있습니다. 이는 SSL Prototypes와 SemDeDup이 클러스터 중심을 둘러싼 공간의 밀집 영역을 모두 잘라내기 때문이라고 가설을 세웁니다. 정의상 SemDeDup은 클러스터 내의 밀집 영역을 sparsify하며, 마찬가지로 정의상 SSL Prototypes는 클러스터 중심에 가까운 데이터 포인트를 잘라내게 됩니다. K-means clustering은 중심을 공간의 밀집 영역에 배치하므로(클러스터 중심에 대한 코사인 거리 분포가 오른쪽으로 치우쳐 있는 그림 A6 참조), 중심을 둘러싼 공간 영역이 밀집되어 있을 것이라는 것을 알 수 있으므로 SSL Prototypes와 SemDeDup이 상당한 겹침을 보일 것으로 예상할 수 있습니다. 정성적으로 그림 A3, 그림 A4, 그림 A5에서 클러스터 중심에 가까운 몇 가지 예를 검사한 결과, 클러스터 중심에 가까운 예는 의미적으로 중복될 수 있음을 확인할 수 있습니다(예: 템플릿). 따라서 합리적인 데이터 선택 전략은 클러스터 중심을 둘러싼 이러한 밀집된 공간 영역을 sparsify하는 것을 우선시하는 것이 합리적입니다. 섹션 3.4에서 언급했듯이, 과도한 의미적 중복이 포함된 이러한 밀집된 공간 영역을 sparsify하는 것이 D4의 원래 동기입니다. 그림 7에 표시된 것처럼 재클러스터링 단계를 생략하면 성능이 현저히 악화되며, 그림 7의 가장 오른쪽 플롯에서 SemDeDup이 실제로 중복으로 인한 클러스터를 제거하는 것을 관찰할 수 있습니다.
그림 A5는 SemDeDup과 SSL 프로토타입에 의해 선택된 데이터 세트 간의 중첩을 보여줍니다. 두 방법이 동일한 데이터 포인트 집합에 도달하지는 않지만 두 방법에 의해 큐레이션된 데이터 세트 간에는 상당한 중복이 있습니다. 이는 SSL 프로토타입과 SemDeDup이 클러스터 중심을 둘러싼 공간의 밀집 영역을 모두 잘라내기 때문이라고 가설을 세웁니다. 정의상 SemDeDup은 클러스터 내의 밀집 영역을 희박화하며, 마찬가지로 정의상 SSL 프로토타입은 클러스터 중심에 가까운 데이터 포인트를 잘라내게 됩니다. K-평균 클러스터링은 중심을 공간의 밀집 영역에 배치하므로(클러스터 중심에 대한 코사인 거리 분포가 오른쪽으로 치우쳐 있는 그림 A6 참조), 중심을 둘러싼 공간 영역이 밀집되어 있을 것이라는 것을 알 수 있으므로 SSL 프로토타입과 SemDeDup이 상당한 겹침을 보일 것으로 예상할 수 있습니다. 정성적으로 그림 A3, 그림 A4, 그림 A5에서 클러스터 중심에 가까운 몇 가지 예를 검사한 결과, 클러스터 중심에 가까운 예는 의미적으로 중복될 수 있음을 확인할 수 있습니다(예: 템플릿). 따라서 합리적인 데이터 선택 전략은 클러스터 중심을 둘러싼 이러한 밀집된 공간 영역을 희소화하는 것을 우선시하는 것이 합리적입니다. 섹션 3.4에서 언급했듯이, 과도한 의미적 중복이 포함된 이러한 밀집된 공간 영역을 희소화하는 것이 D4의 원래 동기입니다. 그림 7에 표시된 것처럼 재클러스터링 단계를 생략하면 성능이 현저히 악화되며, 그림 7의 가장 오른쪽 플롯에서 SemDeDup이 실제로 중복으로 인한 클러스터를 제거하는 것을 관찰할 수 있습니다.