Broadly speaking, ExactSubstr-Cut might remove text mid-sentence resulting in disconnected text; ExactSubstr-Mask does not have this issue, but might be less efficient as a significant portion of the training tokens will not directly contribute to updating the model's weights; ExactSubstr-Drop might still keep considerable duplicated sections in its Partial version, especially on larger documents, while the Any version might be overly aggressive. Following ablations in Appendix E.1, we choose to stick with the vanilla approach, ExactSubstr-Cut.
대체로 ExactSubstr-Cut은 문장 중간에 텍스트를 제거하여 연결되지 않은 텍스트가 발생할 수 있지만, ExactSubstr-Mask는 이러한 문제가 없지만 훈련 토큰의 상당 부분이 모델의 가중치 업데이트에 직접적으로 기여하지 않으므로 효율성이 떨어질 수 있습니다; ExactSubstr-Drop은 특히 큰 문서에서 부분 버전에 여전히 상당한 중복 섹션을 유지할 수 있으며, 모든 버전은 지나치게 공격적일 수 있습니다. 부록 E.1의 절제 실험에 따라, 우리는 바닐라 접근 방식인 ExactSubstr-Cut을 고수하기로 결정했습니다.
대체로 정확한 하위 문자열-컷은 문장 중간에 텍스트를 제거하여 연결되지 않은 텍스트가 발생할 수 있지만, 정확한 하위 문자열-마스크는 이러한 문제가 없지만 훈련 토큰의 상당 부분이 모델의 가중치 업데이트에 직접적으로 기여하지 않으므로 효율성이 떨어질 수 있습니다; ExactSubstr-Drop은 특히 큰 문서에서 부분 버전에 여전히 상당한 중복 섹션을 유지할 수 있으며, 모든 버전은 지나치게 공격적일 수 있습니다. 부록 E.1의 절제 실험에 따라, 우리는 바닐라 접근 방식인 ExactSubstr-Cut을 고수하기로 결정했습니다.