Document-wise filtering.A significant fraction of pages are machine-generated spam, made predominantly of lists of keywords, boilerplate text, or sequences of special characters. Such documents are not suitable for language modeling; to filter them out, we adopt the quality filtering heuristics of Rae et al. (2021). These focus on removing outliers in terms of overall length, symbol-to-word ratio, and other criteria ensuring the document is actual natural language. We note that these filters have to be adapted on a per language basis, as they may result in overfitting if naively transferred from English to other languages.
문서별 필터링. 페이지의 상당 부분이 키워드 목록, 상용구 텍스트 또는 특수 문자 시퀀스로 구성된 기계 생성 스팸입니다. 이러한 문서는 언어 모델링에 적합하지 않으므로 이를 필터링하기 위해 Rae 등(2021)의 품질 필터링 heuristics을 채택합니다. 이러한 필터링은 전체 길이, 기호 대 단어 비율 및 기타 기준에서 이상값을 제거하여 문서가 실제 자연어인지 확인하는 데 중점을 둡니다. 이러한 필터는 영어에서 다른 언어로 순진하게 전송할 경우 overfitting이 발생할 수 있으므로 언어별로 적응시켜야 한다는 점에 유의합니다.
문서별 필터링. 페이지의 상당 부분이 키워드 목록, 상용구 텍스트 또는 특수 문자 시퀀스로 구성된 기계 생성 스팸입니다. 이러한 문서는 언어 모델링에 적합하지 않으므로 이를 필터링하기 위해 Rae 등(2021)의 품질 필터링 휴리스틱을 채택합니다. 이러한 필터링은 전체 길이, 기호 대 단어 비율 및 기타 기준에서 이상값을 제거하여 문서가 실제 자연어인지 확인하는 데 중점을 둡니다. 이러한 필터는 영어에서 다른 언어로 순진하게 전송할 경우 과적합이 발생할 수 있으므로 언어별로 적응시켜야 한다는 점에 유의합니다.