where \(s_{i,j}\) is the Jaccard index between the two documents \(i\) and \(j\). For document pairs that were identified as potential matches, we computed their actual Jaccard index, and if that was above 0.8, we computed their edit similarity. Document pairs with edit similarity higher than 0.8 were identified as duplicates. After some experimentation, we chose to use \(b=20\), and \(r=450\), so \(k=9,000\), so as to make sure a collision at the desired Jaccard index threshold of 0.8 had a high probability of occurring.
여기서 \(s_{i,j}\)는 두 문서 \(i\)와 \(j\) 사이의 Jaccard index입니다. 잠재적 일치로 식별된 문서 쌍에 대해 실제 Jaccard index를 계산하고, 그 값이 0.8 이상이면 edit similarity를 계산했습니다. edit similarity가 0.8보다 높은 문서 쌍은 중복 문서로 식별되었습니다. 몇 가지 실험을 통해 원하는 Jaccard index 임계값인 0.8에서 충돌이 발생할 확률이 높도록 \(b=20\), \(r=450\), 즉 \(k=9,000\)을 사용하기로 결정했습니다.
여기서 \(s_{i,j}\)는 두 문서 \(i\)와 \(j\) 사이의 자카드 지수입니다. 잠재적 일치로 식별된 문서 쌍에 대해 실제 자카드 지수를 계산하고, 그 값이 0.8 이상이면 편집 유사성을 계산했습니다. 편집 유사도가 0.8보다 높은 문서 쌍은 중복 문서로 식별되었습니다. 몇 가지 실험을 통해 원하는 자카드 지수 임계값인 0.8에서 충돌이 발생할 확률이 높도록 \(b=20\), \(r=450\), 즉 \(k=9,000\)을 사용하기로 결정했습니다.