MinHash [1] is an approximate matching algorithm widely used in large-scale deduplication tasks [23, 24, 25], including to deduplicate the training set for a large Chinese-language LM [30]. Given two documents \(x_{i}\) and \(x_{j}\), the main idea is to represent each document by its respective set of \(n\)-grams \(d_{i}\) and \(d_{j}\).
MinHash [1]는 대규모 중복 제거 작업 [23, 24, 25]에서 널리 사용되는 근사 매칭 알고리즘으로, 대형 중국어 LM의 학습 세트를 중복 제거하는 데에도 사용됩니다 [30]. 두 문서 \(x_{i}\)와 \(x_{j}\)가 주어지면, 주요 아이디어는 각 문서를 해당 \(n\)-그램 집합 \(d_{i}\)와 \(d_{j}\)로 표현하는 것입니다.
MinHash [1]는 대규모 중국어 LM [30]의 훈련 세트 중복을 제거하는 것을 포함하여 대규모 중복 제거 작업 [23, 24, 25]에 널리 사용되는 대략적인 일치 알고리즘입니다. 두 문서 \(x_{i}\)와 \(x_{j}\)가 주어졌을 때, 각 문서를 각각의 \(n\)-그램 \(d_{i}\) 및 \(d_{j}\)의 집합으로 표현하는 것이 주요 아이디어입니다.