Finally, we chose to apply MinHash before exact deduplication, as it is easier to scale: approximate deduplication acts as a pruning phase, enabling us to scale deduplication further. Finally, we choose the common option of cutting spans, as dropping resulted in even more stringent rejection rates which would have compromised our ability to collect 5 trillion tokens.
마지막으로, 우리는 정확한 중복 제거 전에 MinHash를 적용하기로 선택했는데, 이는 확장이 더 용이하기 때문입니다. 근사 중복 제거는 가지치기 단계로 작용하여 중복 제거를 더욱 확장할 수 있게 해줍니다. 마지막으로, 우리는 일반적인 선택인 스팬 자르기를 선택했는데, 드롭핑은 더 엄격한 거부율을 초래하여 5조 개의 토큰을 수집하는 우리의 능력을 저해할 수 있었기 때문입니다.
마지막으로, 대략적인 중복 제거는 중복 제거를 더 쉽게 확장할 수 있도록 하는 가지치기 단계 역할을 하므로 정확한 중복 제거 전에 MinHash를 적용하기로 결정했습니다. 마지막으로, 삭제는 더욱 엄격한 거부율을 초래하여 5조 개의 토큰을 수집하는 데 지장을 줄 수 있으므로 일반적인 옵션인 스팬 절단을 선택했습니다.