The exact technique used to perform deduplication is less important than performing stringent deduplication in the first place. On the whole, deduplication does not harm, and sometimes improves, model perplexity, despite the fact that the deduplicated datasets are smaller and faster to train on. It is especially important that there are no duplicates between the training and testing sets, because overlap here explicitly encourages selecting models that memorize the training data. Lastly, deduplication helps to reduce some of the privacy concerns around LMs memorizing their training data.
중복 제거를 수행하는 데 사용되는 정확한 기술은 애초에 엄격한 중복 제거를 수행하는 것보다 덜 중요합니다. 전체적으로 중복 제거는 데이터 세트가 더 작고 훈련 속도가 빨라지는 것에도 불구하고 모델 Perplexity를 해치지 않으며 때로는 개선하기도 합니다. 특히 훈련 세트와 테스트 세트 사이에 중복이 없는 것이 중요한데, 여기서 중복이 있으면 훈련 데이터를 암기하는 모델을 선택하도록 명시적으로 장려하기 때문입니다. 마지막으로, 중복 제거는 LMs이 훈련 데이터를 암기하는 것과 관련된 일부 개인정보 보호 문제를 줄이는 데 도움이 됩니다.
중복 제거를 수행하는 데 사용되는 정확한 기술은 애초에 엄격한 중복 제거를 수행하는 것보다 덜 중요합니다. 전체적으로 중복 제거는 데이터 세트가 더 작고 훈련 속도가 빨라지는 것에도 불구하고 모델 당혹감을 해치지 않으며 때로는 개선하기도 합니다. 특히 훈련 세트와 테스트 세트 사이에 중복이 없는 것이 중요한데, 여기서 중복이 있으면 훈련 데이터를 암기하는 모델을 선택하도록 명시적으로 장려하기 때문입니다. 마지막으로, 중복 제거는 LM이 훈련 데이터를 암기하는 것과 관련된 일부 개인정보 보호 문제를 줄이는 데 도움이 됩니다.