Lee et al. (2022) also proposed filtering down on false positives by computing the real Jaccard similarity, or other metrics such as the edit similarity between identified document pairs. Given the large amount of data we have available across all of CommonCrawl, and that our main concern is improving recall, we decided to skip this additional step.
Lee et al.(2022)은 또한 실제 Jaccard 유사도 또는 식별된 문서 쌍 간의 편집 유사도와 같은 다른 metrics를 계산하여 오탐지 필터링을 제안했습니다. CommonCrawl 전체에서 사용할 수 있는 데이터의 양이 많고 주요 관심사가 recall 향상이라는 점을 고려하여 이 추가 단계를 건너뛰기로 결정했습니다.
Lee et al.(2022)은 또한 실제 Jaccard 유사도 또는 식별된 문서 쌍 간의 편집 유사도와 같은 다른 메트릭을 계산하여 오탐지 필터링을 제안했습니다. CommonCrawl 전체에서 사용할 수 있는 데이터의 양이 많고 주요 관심사가 회수율 향상이라는 점을 고려하여 이 추가 단계를 건너뛰기로 결정했습니다.