We employ cld3 package to detect the language of each token in the embeddings of each layer, which is a language detection library based on the Compact Language Detector \(3\) model developed by Google. Furthermore, if the detection result is reliable, i.e., cld3.get_language(token).is_reliable\(==True\), we adopt the detection results, otherwise the token is categorized as a non-word.
각 레이어의 임베딩에서 각 토큰의 언어를 감지하기 위해 Google이 개발한 Compact Language Detector \(3\) 모델을 기반으로 한 언어 감지 라이브러리인 cld3 패키지를 사용합니다. 또한, 감지 결과가 신뢰할 수 있는 경우, 즉 cld3.get_language(token).is_reliable\(==True\)인 경우 감지 결과를 채택하고, 그렇지 않은 경우 해당 토큰을 비단어로 분류합니다.
cld3 패키지를 사용하여 각 레이어의 임베딩에서 각 토큰의 언어를 감지하는데, 이는 Google에서 개발한 Compact Language Detector \(3\) 모델을 기반으로 하는 언어 감지 라이브러리입니다. 또한 감지 결과가 신뢰할 수 있는 경우, 즉 cld3.get_language(token).is_reliable\(==True\)인 경우 감지 결과를 채택하고, 그렇지 않은 경우 해당 토큰은 단어가 아닌 것으로 분류합니다.