We compare Nemotron-4 15B to existing multilingual language models: XGLM (Lin et al., 2022), mGPT (Shliazhko et al., 2022), and BLOOM (Scao et al., 2023). XGLM and mGPT are models specially trained to have improved multilingual ability by up-sampling the presence of non-English languages in the training data. In contrast, BLOOM, like Nemotron-4, is a general purpose language model that was trained on a combination of English, multilingual, and code data. In Table 7, we clearly see that Nemotron-4 achieves the best performance amongst all models - realizing almost a 12% improvement in the four-shot setting.
우리는 Nemotron-4 15B를 기존의 다국어 언어 모델들과 비교합니다: XGLM (Lin et al., 2022), mGPT (Shliazhko et al., 2022), 그리고 BLOOM (Scao et al., 2023). XGLM과 mGPT는 훈련 데이터에서 비영어권 언어의 비중을 높여 다국어 능력을 향상시키기 위해 특별히 훈련된 모델들입니다. 반면에, BLOOM은 Nemotron-4와 마찬가지로 영어, 다국어, 그리고 코드 데이터를 조합하여 훈련된 범용 언어 모델입니다. Table 7에서 볼 수 있듯이, Nemotron-4는 모든 모델 중에서 최고의 성능을 달성하며, 네 샷 설정에서 거의 12%의 향상을 이루었습니다.
네모트론-4 15B를 기존 다국어 언어 모델인 XGLM(Lin et al., 2022), mGPT(Shliazhko et al., 2022), BLOOM(Scao et al., 2023)과 비교합니다. XGLM과 mGPT는 훈련 데이터에 비영어 언어의 존재 비율을 업샘플링하여 다국어 능력을 향상시키기 위해 특별히 훈련된 모델입니다. 반면, 네모트론-4와 마찬가지로 BLOOM은 영어, 다국어, 코드 데이터의 조합으로 훈련된 범용 언어 모델입니다. 표 7에서 네모트론-4가 4샷 설정에서 거의 12%의 성능 향상을 실현하는 등 모든 모델 중에서 가장 우수한 성능을 달성하는 것을 명확하게 확인할 수 있습니다.