Deduplication.Deduplication removes repeated extracts and documents from a dataset: these could either be exact matches, identical in every character, or approximate matches, based on some similarity metric. For exact duplicates, it is common to match exact substrings of a minimum length using suffix arrays (Manber and Myers, 1993). For fuzzy duplicates, methods based on locally-sensitive hashes such as MinHash (Broder, 1997) or SimHash (Charikar, 2002) have been adopted for the pretraining data of large language models (Brown et al., 2020; Zeng et al., 2021; Rae et al., 2021). Recently, Abbas et al. (2023) has proposed to leverage embeddings from pretrained models to imbune semantic understanding in approximate matching algorithms. Deduplication has been identified as playing a significant role in improving language models (Allamanis, 2019; Lee et al., 2022). Notably, it reduces memorization (Carlini et al., 2022), which is especially problematic in large models (Carlini et al., 2021). Furthermore, repeated data has been shown to be increasingly harmful to model quality as parameter count increases (Hernandez et al., 2022): for a 1B parameters model, a hundred duplicates are harmful; at 175B, even a few duplicates could have a disproportionate effect. Concurrently to this work, the Pythia suite of models found that deduplicating The Pile had a limited impact on zero-shot performance (Biderman et al., 2023), questioning whether deduplication is as relevant for curated corpora as it for predominantly web-based datasets.
중복 제거. Deduplication은 데이터 집합에서 반복되는 추출 및 문서를 제거하는 것으로, 모든 문자에서 정확히 일치하거나 일부 유사성 메트릭에 따라 근사치 일치할 수 있습니다. 정확한 중복의 경우 접미사 배열(Manber and Myers, 1993)을 사용하여 최소 길이의 정확한 하위 문자열을 일치시키는 것이 일반적입니다. 퍼지 중복의 경우, Large Language Models (LLMs)의 사전 학습 데이터(Brown et al., 2020; Zeng et al., 2021; Rae et al., 2021)에 MinHash(Broder, 1997) 또는 SimHash(Charikar, 2002)와 같은 로컬 민감 해시를 기반으로 하는 방법이 채택되었습니다. 최근 Abbas et al. (2023)은 사전 학습된 모델의 임베딩을 활용하여 대략적인 일치 알고리즘에 의미론적 이해를 부여할 것을 제안했습니다. Deduplication은 언어 모델을 개선하는 데 중요한 역할을 하는 것으로 확인되었습니다(Allamanis, 2019; Lee et al., 2022). 특히, 중복 데이터는 대규모 모델(Carlini et al., 2021)에서 특히 문제가 되는 암기(Carlini et al., 2022)를 줄여줍니다. 또한, 매개변수 수가 증가함에 따라 반복되는 데이터가 모델 품질에 미치는 해로운 영향이 점점 더 커지는 것으로 나타났습니다(Hernandez et al., 2022): 매개변수가 10억 개인 모델의 경우 100개의 중복이 해롭지만, 1750억 개인 모델의 경우 몇 개의 중복만으로도 불균형한 영향을 미칠 수 있습니다. 이 작업과 동시에, Pythia 모델 제품군은 The Pile을 중복 제거하면 zero-shot 성능에 미치는 영향이 제한적이라는 사실을 발견했습니다(Biderman et al., 2023), 이는 Deduplication이 주로 웹 기반 데이터 세트에만 해당되는지 의문을 제기했습니다.
중복 제거.중복 제거는 데이터 집합에서 반복되는 추출 및 문서를 제거하는 것으로, 모든 문자에서 정확히 일치하거나 일부 유사성 메트릭에 따라 근사치 일치할 수 있습니다. 정확한 중복의 경우 접미사 배열(Manber and Myers, 1993)을 사용하여 최소 길이의 정확한 하위 문자열을 일치시키는 것이 일반적입니다. 퍼지 중복의 경우, 최대 언어 모델의 사전 학습 데이터(Brown et al., 2020; Zeng et al., 2021; Rae et al., 2021)에 MinHash(Broder, 1997) 또는 SimHash(Charikar, 2002)와 같은 로컬 민감 해시를 기반으로 하는 방법이 채택되었습니다. 최근 Abbas et al. (2023)은 사전 학습된 모델의 임베딩을 활용하여 대략적인 일치 알고리즘에 의미론적 이해를 부여할 것을 제안했습니다. 중복 제거는 언어 모델을 개선하는 데 중요한 역할을 하는 것으로 확인되었습니다(Allamanis, 2019; Lee et al., 2022). 특히, 중복 데이터는 대규모 모델(Carlini et al., 2021)에서 특히 문제가 되는 암기(Carlini et al., 2022)를 줄여줍니다. 또한, 매개변수 수가 증가함에 따라 반복되는 데이터가 모델 품질에 미치는 해로운 영향이 점점 더 커지는 것으로 나타났습니다(Hernandez et al., 2022): 매개변수가 10억 개인 모델의 경우 100개의 중복이 해롭지만, 1750억 개인 모델의 경우 몇 개의 중복만으로도 불균형한 영향을 미칠 수 있습니다. 이 작업과 동시에, Pythia 모델 제품군은 더 많은 파일을 중복 제거하면 제로 샷 성능에 미치는 영향이 제한적이라는 사실을 발견했습니다(Biderman et al., 2023), 이는 중복 제거가 주로 웹 기반 데이터 세트에만 해당되는지 의문을 제기했습니다.