We deduplicate each of the four datasets with both of our two techniques. When text was duplicated across multiple data splits, we prioritized keeping a copy in the test or validation set and removing it from the train set.
우리는 두 가지 기법을 사용하여 네 개의 데이터셋 각각을 중복 제거했습니다. 텍스트가 여러 데이터 분할에 걸쳐 중복된 경우, 테스트 또는 검증 세트에 복사본을 유지하고 학습 세트에서 제거하는 것을 우선시했습니다.
두 가지 기법을 모두 사용하여 네 가지 데이터 세트 각각을 중복 제거합니다. 여러 데이터 분할에서 텍스트가 중복되는 경우 테스트 또는 유효성 검사 집합에 사본을 유지하고 훈련 집합에서 제거하는 것을 우선시했습니다.