We take a subset of the first 1000 documents from each of the datasets. For synthetic comparisons with real C4 data, we take pairs of samples, while for Pile subsets, we take the first 1000 samples from the test subset. When computing dataset quality statistics, we remove outliers more than two standard deviations in metric value. When the number of samples from the Pile subset was fewer than 1000, we split samples. Figures with distributions use a Gaussian Kernel Density Estimator (KDE) to construct distributions for statistics from 1000 values.
각 데이터 세트에서 처음 1000개의 문서의 하위 집합을 가져옵니다. 실제 C4 데이터와의 합성 비교의 경우 샘플 쌍을 가져오고, Pile 하위 집합의 경우 테스트 하위 집합에서 처음 1000개의 샘플을 가져옵니다. 데이터 세트 품질 통계를 계산할 때 metric 값에서 2표준편차 이상의 이상값을 제거합니다. Pile 하위 집합의 샘플 수가 1000개 미만인 경우 샘플을 분할합니다. 분포가 있는 그림은 Gaussian Kernel Density Estimator (KDE)를 사용하여 1000개의 값에서 통계를 위한 분포를 구성합니다.
각 데이터 세트에서 처음 1000개의 문서의 하위 집합을 가져옵니다. 실제 C4 데이터와의 합성 비교의 경우 샘플 쌍을 가져오고, Pile 하위 집합의 경우 테스트 하위 집합에서 처음 1000개의 샘플을 가져옵니다. 데이터 세트 품질 통계를 계산할 때 메트릭 값에서 2표준편차 이상의 이상값을 제거합니다. Pile 하위 집합의 샘플 수가 1000개 미만인 경우 샘플을 분할합니다. 분포가 있는 그림은 가우스 커널 밀도 추정기(KDE)를 사용하여 1000개의 값에서 통계를 위한 분포를 구성합니다.