We encourage future language model research to perform dataset deduplication, either by training on the deduplicated datasets we release, using the deduplication tools we release, or following our approach to deduplicate datasets with new tools.
향후 언어 모델 연구에서는 저희가 공개하는 중복 제거된 데이터 세트를 학습하거나, 저희가 공개하는 중복 제거 도구를 사용하거나, 새로운 도구를 사용하여 데이터 세트를 중복 제거하는 저희의 접근 방식을 따라 dataset deduplication을 수행할 것을 권장합니다.
향후 언어 모델 연구에서는 저희가 공개하는 중복 제거된 데이터 세트를 학습하거나, 저희가 공개하는 중복 제거 도구를 사용하거나, 새로운 도구를 사용하여 데이터 세트를 중복 제거하는 저희의 접근 방식을 따라 데이터 세트 중복 제거를 수행할 것을 권장합니다.