Perplexity filteringWe trained a KenLM model Heafield (2011) on a small subset of carefully inspected legal data, and used it to filter any high perplexity paragraph. This removed non-English text as well as most of the "weird" unicode sequences present in the data. We show some of the most common \(10\)-grams in the filtered data on Table 2.
난해성 필터링. 신중하게 검사한 법률 데이터의 작은 하위 집합에 대해 KenLM 모델 Heafield(2011)을 학습시키고, 이를 사용하여 높은 Perplexity 단락을 필터링했습니다. 이렇게 하면 데이터에 존재하는 대부분의 '이상한' 유니코드 시퀀스뿐만 아니라 영어가 아닌 텍스트도 제거됩니다. 필터링된 데이터에서 가장 일반적인 \(10\)-그램 중 일부를 표 2에 표시합니다.
난해성 필터링신중하게 검사한 법률 데이터의 작은 하위 집합에 대해 KenLM 모델 Heafield(2011)을 학습시키고, 이를 사용하여 높은 난해성 단락을 필터링했습니다. 이렇게 하면 데이터에 존재하는 대부분의 '이상한' 유니코드 시퀀스뿐만 아니라 영어가 아닌 텍스트도 제거됩니다. 필터링된 데이터에서 가장 일반적인 \(10\)-그램 중 일부를 표 2에 표시합니다.