We also tested an alternative configuration--filtering to document pairs with Jaccard index of at least 0.9 and edit similarity of at least 0.9. In this case, we used \(b=20\), \(r=40\), and \(k=800\). Figure 4 shows the histogram of Jaccard similarities and edit similarities for all document pairs which collided in min-hash space, for our chosen configuration (blue) and for the alternative configuration (orange). This allows us verify if the threshold chosen has few comparisons around the chosen threshold, then we've likely captured the majority of actual near duplicates above that threshold. To verify that yourself, look at the left hand tails of the distributions. Since both 0.8 and 0.9 begin to vanish at the same point (in spite of the fact that the two thresholds are optimized for accuracy around different thresholds), we feel comfortable saying that we're capturing the majority of actual near duplicates.
또한 Jaccard 지수가 최소 0.9이고 편집 유사도가 최소 0.9인 문서 쌍으로 필터링하는 대체 구성을 테스트했습니다. 이 경우 \(b=20\), \(r=40\), \(k=800\)을 사용했습니다. Figure 4는 선택한 구성(파란색)과 대체 구성(주황색)에 대해 min-hash 공간에서 충돌한 모든 문서 쌍의 Jaccard 유사도 및 편집 유사도 히스토그램을 보여줍니다. 이를 통해 선택한 임계값이 선택한 임계값을 중심으로 비교가 거의 없으면 해당 임계값 이상의 실제 유사도가 대부분 잡혔는지 확인할 수 있습니다. 이를 직접 확인하려면 분포의 왼쪽 꼬리를 살펴보세요. 0.8과 0.9가 서로 다른 임계값에서 정확도를 최적화하기 때문에 두 임계값이 같은 지점에서 사라지기 시작하기 때문에 실제 유사도의 대부분을 포착하고 있다고 말할 수 있습니다.
또한 Jaccard 지수가 최소 0.9이고 편집 유사도가 최소 0.9인 문서 쌍으로 필터링하는 대체 구성을 테스트했습니다. 이 경우 \(b=20\), \(r=40\), \(k=800\)을 사용했습니다. 그림 4는 선택한 구성(파란색)과 대체 구성(주황색)에 대해 최소 해시 공간에서 충돌한 모든 문서 쌍의 Jaccard 유사도 및 편집 유사도 히스토그램을 보여줍니다. 이를 통해 선택한 임계값이 선택한 임계값을 중심으로 비교가 거의 없으면 해당 임계값 이상의 실제 유사도가 대부분 잡혔는지 확인할 수 있습니다. 이를 직접 확인하려면 분포의 왼쪽 꼬리를 살펴보세요. 0.8과 0.9가 서로 다른 임계값에서 정확도를 최적화하기 때문에 두 임계값이 같은 지점에서 사라지기 시작하기 때문에 실제 유사도의 대부분을 포착하고 있다고 말할 수 있습니다.