\begin{table}
\begin{tabular}{c c c c} \hline \hline
**Minhash** & **Exact substring** & pile-bpb \(\downarrow\) & agg-dev-1 \(\uparrow\) \\ \hline \multicolumn{3}{c}{RefinedWeb-Filtered} & 1.11 & 43.51 \\ \hline  & Mask & 1.08 & 45.84 \\ ✓ & Mask & 1.07 & 46.28 \\ ✓ & & 1.07 & 46.57 \\ ✓ & Cut & **1.05** & 47.11 \\  & Cut & 1.06 & 47.24 \\ ✓ & Drop partial & **1.05** & 47.25 \\  & Drop any & 1.07 & 47.77 \\ ✓ & Drop any & 1.07 & 47.86 \\  & Drop partial & 1.06 & **47.97** \\ \hline  & Pile & 0.88 & 43.70 \\ \hline \hline \end{tabular}
\end{table}
Table 8: **MinHash alone is insufficient to match the performance of exact substring deduplication, and combining the two does not significantly improve performance. Of all of the exact substring approaches, masking duplicated spans underperform, but all others exhibit similar performance. ✓ Minhash + Exact substring-Cut corresponds to our final deduplication setup. Perplexity in bits-per-bytes on The Pile (pile-bpb, lower is better), zero-shot performance aggregated over LAMBADA, PIQA, and HellaSwag (agg-dev).
\begin{table}
\begin{tabular}{c c c c} \hline \hline
**Minhash** & **Exact substring** & pile-bpb \(\downarrow\) & agg-dev-1 \(\uparrow\) \\ \hline \multicolumn{3}{c}{RefinedWeb-Filtered} & 1.11 & 43.51 \\ \hline & Mask & 1.08 & 45.84 \\ ✓ & Mask & 1.07 & 46.28 \\ ✓ & & 1.07 & 46.57 \\ ✓ & Cut & **1.05** & 47.11 \\ & Cut & 1.06 & 47.24 \\ ✓ & Drop partial & **1.05** & 47.25 \\ & Drop any & 1.07 & 47.77 \\ ✓ & Drop any & 1.07 & 47.86 \\ & Drop partial & 1.06 & **47.97** \\ \hline & Pile & 0.88 & 43.70 \\ \hline \hline \end{tabular}
\end{table}
표 8: **MinHash만으로는 Exact substring 중복 제거의 성능을 맞추기에 충분하지 않으며, 두 가지를 결합해도 성능이 크게 향상되지 않습니다. 모든 Exact substring 접근 방식 중에서 중복된 범위를 Masking하는 방식은 성능이 저조하지만 다른 모든 접근 방식은 비슷한 성능을 보입니다. ✓ Minhash + Exact substring-Cut은 최종 중복 제거 설정에 해당합니다. The Pile에 대한 비트당 평균 복잡도(pile-bpb, 낮을수록 좋음), LAMBADA, PIQA, HellaSwag에 대해 집계된 zero-shot 성능(agg-dev).
\begin{table}
\begin{tabular}{c c c c} \hline \hline
**Minhash** & **정확한 부분 문자열** & pile-bpb \(\downarrow\) & agg-dev-1 \(\uparrow\) \\ \hline \multicolumn{3}{c}{RefinedWeb-Filtered} & 1.11 & 43.51 \\ \hline & 마스크 & 1.08 & 45.84 \\ ✓ & 마스크 & 1.07 & 46.28 \\ ✓ & & 1.07 & 46.57 \\ ✓ & Cut & **1.05** & 47.11 \\ & Cut & 1.06 & 47.24 \\ ✓ & 부분 삭제 & **1.05** & 47.25 \\ & 임의 삭제 & 1.07 & 47.77 \\ ✓ & 임의 삭제 & 1.07 & 47.86 \\ & 부분 삭제 & 1.06 & **47.97** \\ \hline & Pile & 0.88 & 43.70 \\ \hline \hline \end{tabular}
\end{table}
표 8: **MinHash만으로는 정확한 부분 문자열 중복 제거의 성능을 맞추기에 충분하지 않으며, 두 가지를 결합해도 성능이 크게 향상되지 않습니다. 모든 정확한 부분 문자열 접근 방식 중에서 중복된 범위를 마스킹하는 방식은 성능이 저조하지만 다른 모든 접근 방식은 비슷한 성능을 보입니다. Minhash + 정확한 부분 문자열-Cut은 최종 중복 제거 설정에 해당합니다. 더 파일에 대한 비트당 평균 복잡도(pile-bpb, 낮을수록 좋음), 램바다, 피카, 헬라스웩에 대해 집계된 0샷 성능(agg-dev).