We perform all of our training runs on a version of CommonCrawl pre-processed with a CCNet [54] pipeline identical to the one used by Touvron et al. [50]. We add an additional step of MinHash-based de-duplication (see more details in Section A.1). Applying this common step before our experiments guarantees that any effects observed in our experiments complement the currently prevalent approach of MinHash-based data de-duplication strategies. Throughout the rest of this work, we refer to this dataset as _CC-dedup_.
우리는 Touvron 등 [50]에서 사용한 것과 동일한 CCNet [54] 파이프라인으로 사전 처리된 버전의 CommonCrawl에서 모든 훈련을 수행합니다. MinHash 기반 중복 제거 단계를 추가합니다(자세한 내용은 섹션 A.1 참조). 실험 전에 이 공통 단계를 적용하면 실험에서 관찰되는 모든 효과가 현재 널리 사용되는 MinHash 기반 데이터 중복 제거 전략에 보완된다는 것을 보장합니다. 이 작업의 나머지 부분에서는 이 데이터 세트를 _CC-dedup_이라고 부릅니다.
우리는 Touvron 등 [50]에서 사용한 것과 동일한 CCNet [54] 파이프라인으로 사전 처리된 버전의 CommonCrawl에서 모든 훈련을 수행합니다. 미니해시 기반 중복 제거 단계를 추가합니다(자세한 내용은 섹션 A.1 참조). 실험 전에 이 공통 단계를 적용하면 실험에서 관찰되는 모든 효과가 현재 널리 사용되는 미니해시 기반 데이터 중복 제거 전략에 보완된다는 것을 보장합니다. 이 작업의 나머지 부분에서는 이 데이터 세트를 _CC-dedup_이라고 부릅니다.