biggest clusters in Appendix H.1. We perform MinHash deduplication using 9,000 hashes per document, calculated over 5-grams and divided into 20 buckets of 450 hashes. We found that using less aggressive settings, such as the 10 hashes of The Pile (Gao et al., 2020), resulted in lower deduplication rates and worsened model performance. See Appendix G.3.1 for more details about our MinHash setup.
부록 H.1의 가장 큰 클러스터들. 우리는 문서당 9,000개의 해시를 사용하여 MinHash 중복 제거를 수행하며, 이는 5-그램을 기준으로 계산되고 450개의 해시로 이루어진 20개의 버킷으로 나뉩니다. The Pile (Gao et al., 2020)의 10개의 해시와 같은 덜 공격적인 설정을 사용할 경우 중복 제거율이 낮아지고 모델 성능이 저하되는 것을 발견했습니다. 우리의 MinHash 설정에 대한 자세한 내용은 부록 G.3.1을 참조하십시오.
부록 H.1의 가장 큰 클러스터입니다. 5그램에 대해 계산하고 450개의 해시로 구성된 20개의 버킷으로 나누어 문서당 9,000개의 해시를 사용하여 MinHash 중복 제거를 수행합니다. 더 적극적인 설정, 예를 들어 더 파일(Gao et al., 2020)의 10개 해시를 사용하면 중복 제거율이 낮아지고 모델 성능이 악화되는 것으로 나타났습니다. 자세한 내용은 부록 G.3.1을 참조하세요.