CorpusTo compile a language-specific corpus without task-specific considerations, we utilize OSCAR Caswell et al. (2020) corpus which contains web crawling texts for each language. Our selection criterion for the number of contexts is based on achieving substantial coverage of each language's vocabulary, ensuring that the selected contexts provide a representative sample of the language. Details are shown in Table 1, where "corpus size" indicates the number of contexts selected, "corpus vocab" represents the vocabulary coverage within the selected contexts, "vocab size" refers to the number of vocabularies of that language.
코퍼스과제별 고려 사항 없이 언어별 코퍼스를 컴파일하기 위해 각 언어에 대한 웹 크롤링 텍스트가 포함된 OSCAR Caswell 등(2020) 코퍼스를 활용합니다. 문맥 수에 대한 선정 기준은 각 언어의 어휘를 상당히 포괄할 수 있도록 하여 선정된 문맥이 해당 언어의 대표적인 샘플을 제공할 수 있도록 하는 것입니다. 자세한 내용은 표 1에 나와 있으며, 여기서 "corpus size"는 선택된 문맥의 수를 나타내고, "corpus vocab"는 선택된 문맥 내의 어휘 커버리지를 나타내며, "vocab size"는 해당 언어의 어휘 수를 나타냅니다.
코퍼스과제별 고려 사항 없이 언어별 코퍼스를 컴파일하기 위해 각 언어에 대한 웹 크롤링 텍스트가 포함된 OSCAR Caswell 등(2020) 코퍼스를 활용합니다. 문맥 수에 대한 선정 기준은 각 언어의 어휘를 상당히 포괄할 수 있도록 하여 선정된 문맥이 해당 언어의 대표적인 샘플을 제공할 수 있도록 하는 것입니다. 자세한 내용은 표 1에 나와 있으며, 여기서 "코퍼스 크기"는 선택된 문맥의 수를 나타내고, "코퍼스 어휘"는 선택된 문맥 내의 어휘 커버리지를 나타내며, "어휘 크기"는 해당 언어의 어휘 수를 나타냅니다.