Figure 5: For each substring of length \(k\), we plot the probability that there exists a second identical length-\(k\) substring in the same train set. Matches with length under \(10\) subword tokens are common, and account for \(90\%\) of tokens. We choose a threshold of 50 for experiments.
그림 5: 길이 \(k\)의 각 부분 문자열에 대해, 동일한 train set에 길이가 동일한 두 번째 \(k\) 부분 문자열이 존재할 확률을 플롯합니다. 길이가 \(10\) 미만인 subword tokens과 일치하는 경우가 흔하며, tokens의 \(90\%\)를 차지합니다. 실험을 위해 임계값 50을 선택합니다.
그림 5: 길이 \(k\)의 각 부분 문자열에 대해, 동일한 열차 집합에 길이가 동일한 두 번째 \(k\) 부분 문자열이 존재할 확률을 플롯합니다. 길이가 \(10\) 미만인 부분 단어 토큰과 일치하는 경우가 흔하며, 토큰의 \(90\%\)를 차지합니다. 실험을 위해 임계값 50을 선택합니다.