The specific de-duplication method can vary based on the nature of the data and the requirements of the particular language model being trained. It may involve comparing entire data points or specific features to identify and eliminate duplicates. At the document level, existing works mainly rely on the overlap ratio of high-level features (e.g. n-grams overlap) between documents to detect duplicate samples.
특정 de-duplication 방법은 데이터의 특성과 학습 중인 특정 언어 모델의 요구 사항에 따라 달라질 수 있습니다. 전체 데이터 포인트를 비교하거나 특정 기능을 비교하여 중복 항목을 식별하고 제거할 수 있습니다. 문서 수준에서 기존 작업은 주로 문서 간의 높은 수준의 특징(e.g. n-grams overlap)의 중복 비율에 의존하여 중복 샘플을 감지합니다.
특정 중복 제거 방법은 데이터의 특성과 학습 중인 특정 언어 모델의 요구 사항에 따라 달라질 수 있습니다. 전체 데이터 포인트를 비교하거나 특정 기능을 비교하여 중복 항목을 식별하고 제거할 수 있습니다. 문서 수준에서 기존 작업은 주로 문서 간의 높은 수준의 특징(예: n-그램 중복)의 중복 비율에 의존하여 중복 샘플을 감지합니다.