If a match is longer than 50 tokens, there will be multiple overlapping duplicated ranges. These overlapping duplicated ranges in the concatenated dataset sequence are merged before we save them to a file. We then take these ranges and retrieve the original document that produced them, obtaining the character substrings corresponding to the duplicated token ranges.
일치하는 항목이 50 tokens 이상인 경우 중복된 범위가 여러 개 겹칠 수 있습니다. 연결된 데이터 집합 시퀀스의 이러한 중복된 중복 범위는 파일로 저장하기 전에 병합됩니다. 그런 다음 이러한 범위를 가져와서 이를 생성한 원본 문서를 검색하여 중복된 token 범위에 해당하는 문자 하위 문자열을 가져옵니다.
일치하는 항목이 50개 이상인 경우 중복된 범위가 여러 개 겹칠 수 있습니다. 연결된 데이터 집합 시퀀스의 이러한 중복된 중복 범위는 파일로 저장하기 전에 병합됩니다. 그런 다음 이러한 범위를 가져와서 이를 생성한 원본 문서를 검색하여 중복된 토큰 범위에 해당하는 문자 하위 문자열을 가져옵니다.