Inspired by Kocetkov et al. (2023); Lee et al. (2021), we removed duplicates and near-duplicates from the training data using Mou et al. (2023), with default parameters, after which we were left with roughly \(30\)B tokens of high-quality text.
Kocetkov et al. (2023)와 Lee et al. (2021)에서 영감을 받아, 우리는 Mou et al. (2023)을 사용하여 기본 매개변수로 훈련 데이터에서 중복 및 유사 중복 항목을 제거했습니다. 그 결과 약 \(30\)B 토큰의 고품질 텍스트가 남았습니다.
Kocetkov 등(2023); Lee 등(2021)의 영향을 받아 Mou 등(2023)을 사용하여 기본 매개변수로 훈련 데이터에서 중복 및 유사성이 높은 데이터를 제거한 후, 약 30B 토큰의 고품질 텍스트가 남았습니다.