Multilingual data.Using the language identification filter, we classify processed CommonCrawl data into 176 languages. Figure 6 shows the top 20 languages present in the data _excluding English_, based on their relative contribution in descending order. 58.20% of all documents in the processed CommonCrawl data were identified as English. We find the distribution of languages in CommonCrawl to only be partially aligned with the worldwide distribution of language speakers (Eberhard et al., 2023): Russian is over-represented (2nd in CC but only 8th worldwide), Mandarin Chinese is under-represented (6-7th in CC but 2nd worldwide), and Hindi does not show-up in the top 20 despite being the 3rd most spoken.
다국어 데이터. 언어 식별 필터를 사용하여, 우리는 처리된 CommonCrawl 데이터를 176개 언어로 분류합니다. Figure 6은 _영어를 제외한_ 데이터에 존재하는 상위 20개 언어를 상대적 기여도에 따라 내림차순으로 보여줍니다. 처리된 CommonCrawl 데이터의 모든 문서 중 58.20%가 영어로 식별되었습니다. 우리는 CommonCrawl의 언어 분포가 전 세계 언어 사용자의 분포와 부분적으로만 일치한다는 것을 발견했습니다 (Eberhard et al., 2023): 러시아어는 과대 대표되어 있으며 (CC에서 2위지만 전 세계적으로는 8위), 중국어는 과소 대표되어 있습니다 (CC에서 6-7위지만 전 세계적으로는 2위), 힌디어는 전 세계적으로 3번째로 많이 사용되는 언어임에도 불구하고 상위 20위에 나타나지 않습니다.
다국어 데이터.언어 식별 필터를 사용하여 처리된 CommonCrawl 데이터를 176개 언어로 분류합니다. 그림 6은 영어를 제외한 데이터에 포함된 상대적 기여도에 따라 내림차순으로 표시된 상위 20개 언어를 보여줍니다. 처리된 CommonCrawl 데이터의 모든 문서 중 58.20%가 영어로 식별되었습니다. CommonCrawl의 언어 분포는 전 세계 언어 사용자 분포(Eberhard et al., 2023)와 부분적으로만 일치하는 것으로 나타났습니다: 러시아어는 과대 표현(CC에서는 2위이지만 전 세계에서는 8위), 만다린 중국어는 과소 표현(CC에서는 6~7위이지만 전 세계에서는 2위), 힌디어는 3번째로 많이 사용되는 언어임에도 불구하고 상위 20위에 들지 못했습니다.