In constructing the pre-training corpus, we remove any possible duplicates via document-level exact and near-deduplication (Jennings et al., 2023). We additionally applied document-level quality filtering across our corpus using a language-model based filtering approach similar to (Wenzek et al., 2019) in addition to a series of heuristic filters as described in (Rae et al., 2022) and (Raffel et al., 2020).
사전 학습 코퍼스를 구축할 때 문서 수준의 정확 및 근접 중복 제거(Jennings et al., 2023)를 통해 가능한 중복을 제거합니다. 또한 (Rae et al., 2022) 및 (Raffel et al., 2020)에 설명된 일련의 heuristic 필터 외에도 (Wenzek et al., 2019)와 유사한 language-model 기반 필터링 접근 방식을 사용하여 코퍼스 전체에 문서 수준의 품질 필터링을 적용했습니다.
사전 학습 코퍼스를 구축할 때 문서 수준의 정확 및 근접 중복 제거(Jennings et al., 2023)를 통해 가능한 중복을 제거합니다. 또한 (Rae et al., 2022) 및 (Raffel et al., 2020)에 설명된 일련의 휴리스틱 필터 외에도 (Wenzek et al., 2019)와 유사한 언어 모델 기반 필터링 접근 방식을 사용하여 코퍼스 전체에 문서 수준의 품질 필터링을 적용했습니다.