De-duplication refers to the process of removing duplicate instances or repeated occurrences of the same data in a dataset. Duplicate data points can introduce biases in the model training process and reduce the diversity, as the model may learn from the same examples multiple times, potentially leading to overfitting on those particular instances. Some works [125] have shown that de-duplication improves models' ability to generalize to new, unseen data.
중복 제거는 데이터셋에서 중복된 인스턴스나 반복된 데이터를 제거하는 과정을 의미합니다. 중복된 데이터 포인트는 모델 학습 과정에서 편향을 도입하고 다양성을 감소시킬 수 있습니다. 이는 모델이 동일한 예제에서 여러 번 학습하게 되어 특정 인스턴스에 과적합될 가능성을 높이기 때문입니다. 일부 연구 [125]에서는 중복 제거가 모델의 새로운, 보지 못한 데이터에 대한 일반화 능력을 향상시킨다고 보여주었습니다.
중복 제거는 데이터 집합에서 중복된 인스턴스 또는 동일한 데이터의 반복적인 발생을 제거하는 프로세스를 말합니다. 중복된 데이터 포인트는 모델 학습 프로세스에 편향을 유도하고 모델이 동일한 예제를 여러 번 학습하여 특정 인스턴스에 대한 과적합으로 이어질 수 있으므로 다양성을 저하시킬 수 있습니다. 일부 연구[125]에서는 중복 제거가 보이지 않는 새로운 데이터로 일반화하는 모델의 능력을 향상시킨다는 것을 보여주었습니다.