Language identification.We use the fastText language classifier of CCNet (Wenzek et al., 2020) at the document-level: it uses characters n-gram and was trained on Wikipedia, supporting 176 languages. We remove documents for which the top language scores below 0.65: this usually corresponds to pages without any natural text. For this paper, we focus on English; RefinedWeb can also be derived for other languages, see Appendix D for details.
언어 식별. 우리는 문서 수준에서 CCNet (Wenzek et al., 2020)의 fastText 언어 분류기를 사용합니다. 이 분류기는 문자 n-gram을 사용하며, 176개 언어를 지원하는 Wikipedia에서 학습되었습니다. 주요 언어 점수가 0.65 이하인 문서는 제거합니다. 이는 일반적으로 자연어 텍스트가 없는 페이지에 해당합니다. 이 논문에서는 영어에 중점을 두고 있으며, RefinedWeb은 다른 언어로도 파생될 수 있습니다. 자세한 내용은 부록 D를 참조하십시오.
언어 식별.문서 수준에서 CCNet(Wenzek et al., 2020)의 fastText 언어 분류기를 사용합니다. 문자 n-그램을 사용하며 176개 언어를 지원하는 위키피디아에서 학습되었습니다. 상위 언어 점수가 0.65 미만인 문서는 일반적으로 자연 텍스트가 없는 페이지에 해당하므로 제거합니다. 이 백서에서는 영어에 초점을 맞추고 있으며, 다른 언어에 대해서도 RefinedWeb을 도출할 수 있습니다. 자세한 내용은 부록 D를 참조하세요.