The above-described strategy has an overall selection ratio of \(R=R_{dedup}*R_{proto}\) and intends to diversify the distribution of our data locally and globally. For brevity we refer to this method as **D4**, a shorthand for _Document De-Duplication and Diversification_. Throughout this work, we choose \(R_{dedup}=0.75\) and vary \(R_{proto}\) (we discuss this choice in Section A.1). In Section 4, we compare the performance of D4 to baseline training and other methods, and in Section 4.4 we analyze D4 and show that reclustering after semantic de-duplication indeed reduces the impact of duplicate-driven clusters (see Figure 7).
위에서 설명한 전략은 전체 선택 비율이 \(R=R_{dedup}*R_{proto}\)이며, 데이터의 분포를 로컬 및 글로벌 수준에서 다양화하고자 합니다. 이 방법을 _Document De-Duplication and Diversification_의 약자인 **D4**라고 부릅니다. 이 작업에서는 \(R_{dedup}=0.75\)를 선택하고 \(R_{proto}\)를 변경합니다(이 선택에 대해서는 섹션 A.1에서 설명합니다). 섹션 4에서는 D4의 성능을 baseline 훈련 및 기타 방법과 비교하고, 섹션 4.4에서는 D4를 분석하여 의미론적 중복 제거 후 재클러스터링이 중복으로 인한 클러스터의 영향을 실제로 감소시키는 것을 보여줍니다(그림 7 참조).
위에서 설명한 전략은 전체 선택 비율이 \(R=R_{dedup}*R_{proto}\)이며, 데이터의 분포를 로컬 및 글로벌 수준에서 다양화하고자 합니다. 이 방법을 _문서 중복 제거 및 다양화_의 약자인 **D4**라고 부릅니다. 이 작업에서는 \(R_{dedup}=0.75\)를 선택하고 \(R_{proto}\)를 변경합니다(이 선택에 대해서는 섹션 A.1에서 설명합니다). 섹션 4에서는 D4의 성능을 기본 훈련 및 기타 방법과 비교하고, 섹션 4.4에서는 D4를 분석하여 의미론적 중복 제거 후 재클러스터링이 중복으로 인한 클러스터의 영향을 실제로 감소시키는 것을 보여줍니다(그림 7 참조).