Our experiments measured what could be quantified: the amount of duplicate content in common datasets, the effect of deduplication on trained model perplexity, and the reduction of memorized content in trained models through deduplication. We do not focus on the nature of the data being removed by deduplication or memorized by LMs.
우리의 실험은 정량화할 수 있는 것을 측정했습니다: 공통 데이터 세트의 중복 콘텐츠 양, 중복 제거가 학습된 모델 perplexity에 미치는 영향, 중복 제거를 통해 학습된 모델에서 기억된 콘텐츠의 감소 등을 측정했습니다. 중복 제거에 의해 제거되거나 LMs에 의해 기억되는 데이터의 특성에 초점을 맞추지 않습니다.
우리의 실험은 정량화할 수 있는 것을 측정했습니다: 공통 데이터 세트의 중복 콘텐츠 양, 중복 제거가 학습된 모델 당혹감에 미치는 영향, 중복 제거를 통해 학습된 모델에서 기억된 콘텐츠의 감소 등을 측정했습니다. 중복 제거에 의해 제거되거나 LM에 의해 기억되는 데이터의 특성에 초점을 맞추지 않습니다.