On top of this, we add an additional step of MinHash [8] de-duplication at the document-level. The parameters for MinHash are 20 hashes per signature, 20 buckets, and 1 row per bucket. These parameters are the default parameters in the spark implementation of MinHashLSH, and we did not do a hyperparameter sweep on these parameters due to compute limitations. Previous work has attempted running MinHash with much more aggressive parameters: Lee et al. [27] and Penedo et al. [39] use \(20\) buckets, \(450\) hashes per bucket, and \(9000\) signatures per hash. We conjecture that more aggressive MinHash would remove more templates, resulting in a higher-quality starting dataset, potentially making the SemDeDup step of D4 less necessary. Abbas et al. [1] did find that the performance of MinHash from Lee et al. [27] and SemDeDup are comparable at a fixed data selection ratio of 3.9% on C4, indicating that SemDeDup filters out similar data to aggressive MinHash does. We leave sweeping over these hyperparameters as future work.
여기에 문서 수준에서 MinHash [8] 중복 제거 단계를 추가합니다. MinHash의 매개변수는 서명당 20개의 해시, 20개의 버킷, 버킷당 1개의 행입니다. 이러한 매개변수는 MinHashLSH의 spark 구현에서 기본 매개변수이며, 컴퓨팅 제한으로 인해 이러한 매개변수에 대한 hyperparameter sweep을 수행하지 않았습니다. 이전 연구에서는 훨씬 더 공격적인 매개변수로 MinHash를 실행하려고 시도했습니다: Lee 등 [27]과 Penedo 등 [39]은 버킷 20개, 버킷당 해시 450개, 해시당 서명 9000개를 사용합니다. 더 공격적인 MinHash를 사용하면 더 많은 템플릿을 제거하여 더 높은 품질의 시작 데이터 세트를 생성하여 D4의 SemDeDup 단계가 덜 필요할 수 있다고 추측합니다. Abbas 등 [1]은 C4에서 고정된 데이터 선택 비율 3.9%에서 Lee 등 [27]의 MinHash와 SemDeDup의 성능이 비슷하다는 것을 발견했는데, 이는 SemDeDup이 공격적인 MinHash와 유사한 데이터를 걸러낸다는 것을 나타냅니다. 이러한 hyperparameter를 sweep하는 것은 향후 작업으로 남겨두었습니다.
여기에 문서 수준에서 MinHash [8] 중복 제거 단계를 추가합니다. MinHash의 매개변수는 서명당 20개의 해시, 20개의 버킷, 버킷당 1개의 행입니다. 이러한 매개변수는 MinHashLSH의 스파크 구현에서 기본 매개변수이며, 컴퓨팅 제한으로 인해 이러한 매개변수에 대한 하이퍼파라미터 스윕을 수행하지 않았습니다. 이전 연구에서는 훨씬 더 공격적인 매개변수로 MinHash를 실행하려고 시도했습니다: Lee 등 [27]과 Penedo 등 [39]은 버킷 20개, 버킷당 해시 450개, 해시당 서명 9000개를 사용합니다. 더 공격적인 MinHash를 사용하면 더 많은 템플릿을 제거하여 더 높은 품질의 시작 데이터 세트를 생성하여 D4의 SemDeDup 단계가 덜 필요할 수 있다고 추측합니다. Abbas 등 [1]은 C4에서 고정된 데이터 선택 비율 3.9%에서 Lee 등 [27]의 MinHash와 SemDeDup의 성능이 비슷하다는 것을 발견했는데, 이는 SemDeDup이 공격적인 MinHash와 유사한 데이터를 걸러낸다는 것을 나타냅니다. 이러한 하이퍼파라미터를 스윕하는 것은 향후 작업으로 남겨두었습니다.