* **MinHash alone is insufficient**, as it doesn't match the zero-shot performance of exact deduplication. Conversely, combining it with exact deduplication doesn't improve performance further. * **Masking spanned duplicates degrades performance**, systematically underperforming other approaches. Dropping and cutting spans perform similarly, although it's likely that dropping documents slightly outperforms cutting.
* **MinHash만으로는 충분하지 않습니다**, 이는 정확한 중복 제거의 zero-shot 성능과 일치하지 않기 때문입니다. 반대로, 이를 정확한 중복 제거와 결합해도 성능이 더 향상되지 않습니다. * **스팬 중복을 마스킹하면 성능이 저하됩니다**, 이는 다른 접근 방식보다 체계적으로 성능이 떨어집니다. 스팬을 삭제하거나 자르는 것은 비슷한 성능을 보이지만, 문서를 삭제하는 것이 자르는 것보다 약간 더 나을 가능성이 있습니다.
* 정확한 중복 제거의 제로 샷 성능과 일치하지 않기 때문에 **MinHash 단독으로는 충분하지 않습니다**. 반대로 정확한 중복 제거와 결합해도 성능이 더 향상되지 않습니다. * **스팬 중복을 마스킹하면 성능이 저하되어** 다른 접근 방식보다 체계적으로 성능이 저하됩니다. 스팬을 삭제하는 것과 잘라내는 것은 비슷한 성능을 발휘하지만, 문서를 삭제하는 것이 잘라내는 것보다 약간 더 성능이 우수할 가능성이 높습니다.