* ExactSubstr-Cut: we remove the duplicated spans, and discard documents where there are fewer than 20 non-duplicated characters left-this is the vanilla setting used by Lee et al. (2022);
* ExactSubstr-Mask: we loss-mask the duplicated spans, preventing a loss from being computed on the duplicated text during pretraining, and discard documents where there are fewer than 20 non-masked characters left. * ExactSubstr-DropPartial: if more than 20% of the document is duplicated, we remove the entire document;
* ExactSubstr-DropPary: we drop any document with a duplicated span in it.
* ExactSubstr-Cut: 중복된 범위를 제거하고, 중복되지 않은 문자가 20개 미만인 문서는 버립니다(Lee et al. (2022)에서 사용한 vanilla 설정입니다);
* ExactSubstr-Mask: 중복된 범위를 loss-mask하여 사전 학습 중에 중복된 텍스트에 대해 손실이 계산되지 않도록 하고, 마스킹되지 않은 문자가 20개 미만인 문서는 삭제합니다.
* ExactSubstr-DropPartial: 문서의 20% 이상이 중복된 경우 전체 문서를 제거합니다;
* ExactSubstr-DropPary: 중복된 범위가 있는 문서는 모두 삭제합니다.
* ExactSubstr-Cut: 중복된 범위를 제거하고, 중복되지 않은 문자가 20개 미만인 문서는 버립니다(Lee et al. (2022)에서 사용한 일반적인 설정입니다);* ExactSubstr-Mask: 중복된 범위를 손실 마스킹하여 사전 학습 중에 중복된 텍스트에 대해 손실이 계산되지 않도록 하고, 마스킹되지 않은 문자가 20개 미만인 문서는 삭제합니다. * ExactSubstr-DropPartial: 문서의 20% 이상이 중복된 경우 전체 문서를 제거합니다;* ExactSubstr-DropPary: 중복된 범위가 있는 문서는 모두 삭제합니다.