We demonstrate the outstanding multilingual ability of Nemotron-4 15B using four widely-studied benchmarks in previous works that cover a diverse range of high to low resource natural languages. For classification we use accuracy as the metric; for generative tasks, we use exact match; and for machine translation, we evaluate using the sacreBLEU (Post, 2018) implementation of BLEU(Papineni et al., 2002), using spm-floes-101 tokenization to obtain spBLEU scores.
다양한 고레소스에서 저레소스 자연어를 포괄하는 이전 작업에서 널리 연구된 4가지 벤치마크를 사용하여 Nemotron-4 15B의 뛰어난 다국어 능력을 입증합니다. 분류의 경우 accuracy를 지표로 사용하고, 생성 작업의 경우 exact match를 사용하며, 기계 번역의 경우 sacreBLEU(Post, 2018) 구현의 BLEU(Papineni et al., 2002)를 사용하여 spm-floes-101 tokenization을 사용하여 spBLEU 점수를 얻습니다.
다양한 고레소스에서 저레소스 자연어를 포괄하는 이전 작업에서 널리 연구된 4가지 벤치마크를 사용하여 Nemotron-4 15B의 뛰어난 다국어 능력을 입증합니다. 분류의 경우 정확도를 지표로 사용하고, 생성 작업의 경우 정확한 일치를 사용하며, 기계 번역의 경우 sacreBLEU(Post, 2018) 구현의 BLEU(Papineni et al., 2002)를 사용하여 spm-floes-101 토큰화를 사용하여 spBLEU 점수를 얻습니다.