Finding all repeated sequences is thus a matter of linearly scanning the suffix array from beginning to end and looking for sequences \(\mathcal{A}_{i},\mathcal{A}_{i+1}\) that share a common prefix of at least some threshold length. Any satisfying sequences are recorded. This algorithm is embarrassingly parallel, and so we can efficiently process the dataset. Based on experimentation (Appendix B), we choose a threshold length of 50 BPE tokens for all experiments.
모든 반복되는 시퀀스를 찾는 것은 접미사 배열을 처음부터 끝까지 선형적으로 스캔하면서 일정 길이 이상의 공통 접두사를 공유하는 시퀀스 \(\mathcal{A}_{i},\mathcal{A}_{i+1}\)를 찾는 문제입니다. 만족하는 시퀀스는 기록됩니다. 이 알고리즘은 병렬 처리가 매우 용이하므로 데이터를 효율적으로 처리할 수 있습니다. 실험 결과(Appendix B)에 따라, 모든 실험에서 50 BPE 토큰의 임계 길이를 선택했습니다.
따라서 모든 반복되는 시퀀스를 찾는 것은 접미사 배열을 처음부터 끝까지 선형적으로 스캔하고 최소 임계 길이의 공통 접두사를 공유하는 시퀀스 \(\mathcal{A}_{i},\mathcal{A}_{i+1}\)를 찾는 문제입니다. 만족하는 시퀀스는 모두 기록됩니다. 이 알고리즘은 부끄러울 정도로 병렬적이므로 데이터 집합을 효율적으로 처리할 수 있습니다. 실험(부록 B)을 기반으로 모든 실험에 대해 50개의 BPE 토큰의 임계 길이를 선택합니다.