The highly distributed NearDup implementation we employed is one used for large-scale production tasks at Google. On the English C4 dataset, the algorithm consumed approximately 41.5 kWh of energy. Note that our choices of \(k\) and \(b\) were designed to produce very high recall, and with different parameters, the algorithm could be made much more energy efficient while producing similar results.
우리가 사용한 고도로 분산된 NearDup 구현은 Google에서 대규모 생산 작업에 사용되는 것입니다. 영어 C4 데이터셋에서 이 알고리즘은 약 41.5 kWh의 에너지를 소비했습니다. 우리의 \(k\)와 \(b\) 선택은 매우 높은 재현율을 생성하도록 설계되었으며, 다른 매개변수를 사용하면 유사한 결과를 생성하면서 알고리즘을 훨씬 더 에너지 효율적으로 만들 수 있습니다.
우리가 사용한 고분산형 NearDup 구현은 Google에서 대규모 프로덕션 작업에 사용되는 구현입니다. 영어 C4 데이터 세트에서 알고리즘은 약 41.5kWh의 에너지를 소비했습니다. k\)와 \(b\)의 선택은 매우 높은 리콜을 생성하도록 설계되었으며, 다른 매개변수를 사용하면 비슷한 결과를 생성하면서 훨씬 더 에너지 효율적으로 알고리즘을 만들 수 있습니다.