Finding duplicates.ExactSubstr concatenates all the documents in the dataset to create a single long text sequence; then, it builds a suffix array (Manber and Myers, 1993) in linear time--an array of the indexes to a lexicographical ordering of all the suffixes in the sequence. Finally, duplicate sequences can also be found in linear time using the suffix array, by simply traversing the ordered list of suffixes and comparing the beginning of each pair of two consecutive suffixes.
중복 찾기. ExactSubstr은 데이터 집합의 모든 문서를 연결하여 하나의 긴 텍스트 시퀀스를 만든 다음, linear time(Manber and Myers, 1993)으로 접미사 배열(시퀀스의 모든 접미사의 사전적 정렬에 대한 인덱스 배열)을 구축합니다. 마지막으로, 중복된 시퀀스도 접미사 배열을 사용하여 linear time 내에 찾을 수 있습니다. 이는 정렬된 접미사 목록을 순회하고 연속된 두 접미사 쌍의 시작 부분을 비교하는 것만으로 가능합니다.
중복 찾기.ExactSubstr은 데이터 집합의 모든 문서를 연결하여 하나의 긴 텍스트 시퀀스를 만든 다음, 선형 시간(Manber and Myers, 1993)으로 접미사 배열(시퀀스의 모든 접미사의 사전적 정렬에 대한 인덱스 배열)을 구축합니다. 마지막으로, 중복된 시퀀스도 접미사 배열을 사용하여 선형 시간 내에 찾을 수 있습니다. 이는 정렬된 접미사 목록을 순회하고 연속된 두 접미사 쌍의 시작 부분을 비교하는 것만으로 가능합니다.