**Other results on deduplication.**Biderman et al. (2023) found a limited impact on zero-shot performance from deduplicating The Pile; we discuss further in Appendix F.2, but encourage further deduplication research on curated corpora, and studying deduplication in the data-constrained regime, where multiple epochs have to be performed to compensate for the reduction in tokens incurred by deduplication.
**중복 제거에 대한 기타 결과.** Biderman 등(2023)은 The Pile 중복 제거가 zero-shot 성능에 미치는 영향이 제한적이라는 사실을 발견했으며, 이에 대해서는 부록 F.2에서 더 자세히 논의하지만, 큐레이션된 말뭉치에 대한 중복 제거 연구를 더 많이 수행하고, 중복 제거로 인한 토큰 감소를 보완하기 위해 여러 번의 epoch를 수행해야 하는 데이터 제약 환경에서 중복 제거를 연구할 것을 권장합니다.
**중복 제거에 대한 기타 결과.**Biderman 등(2023)은 더 파일 중복 제거가 제로 샷 성능에 미치는 영향이 제한적이라는 사실을 발견했으며, 이에 대해서는 부록 F.2에서 더 자세히 논의하지만, 큐레이션된 말뭉치에 대한 중복 제거 연구를 더 많이 수행하고, 중복 제거로 인한 토큰 감소를 보완하기 위해 여러 번의 에포크를 수행해야 하는 데이터 제약 환경에서 중복 제거를 연구할 것을 권장합니다.