As demonstrated in Figure 1, Nemotron-4 15B exhibits high downstream accuracies across a wide range of English, code, and multilingual evaluation areas. In comparison to leading similarly-sized, open models we show that Nemotron-4 15B is significantly better than LLaMA-2 34B (Touvron et al., 2023b), which has over twice the number of parameters, and is better than Mistral 7B (Jiang et al., 2023) on all English evaluation areas. Additionally, Nemotron-4 15B achieves competitive accuracies to QWEN 14B (Bai et al., 2023) and Gemma 7B (Gemma Team, 2024). In a comparison across a wide range of programming languages, we find that Nemotron-4 15B achieves better average accuracy, and in particular on low-resource programming languages, than Starcoder (Li et al., 2023), a code-specific model, and Mistral 7B. As Nemotron-4 15B was trained on significant amount of multilingual data, it is currently the state-of-the-art general purpose model in its size class on all multilingual benchmarks. We find that Nemotron-4 is better than PALM 62B-Cont (Slav Petrov and et al., 2023), and also outperforms multilingual-specific models such as XGLM (Lin et al., 2022) and mGPT (Shliazhko et al., 2022).
그림 1에서 볼 수 있듯이, Nemotron-4 15B는 다양한 영어, 코드 및 다국어 평가 영역에서 높은 downstream 정확도를 보여줍니다. 비슷한 크기의 선도적인 오픈 모델과 비교하여 파라미터 수가 두 배 이상 많은 LLaMA-2 34B(Touvron et al., 2023b)보다 훨씬 뛰어나며, 모든 영어 평가 영역에서 Mistral 7B(Jiang et al., 2023)보다 우수한 성능을 보입니다. 또한 Nemotron-4 15B는 QWEN 14B(Bai et al., 2023) 및 Gemma 7B(Gemma Team, 2024)와 경쟁력 있는 정확도를 달성합니다. 다양한 프로그래밍 언어를 비교한 결과, Nemotron-4 15B는 코드 전용 모델인 Starcoder(Li et al., 2023) 및 Mistral 7B보다 평균 정확도가 높으며, 특히 리소스가 부족한 프로그래밍 언어에서 더 높은 평균 정확도를 달성하는 것으로 나타났습니다. Nemotron-4 15B는 다국어 데이터를 상당량 학습했기 때문에 현재 모든 다국어 벤치마크에서 동급 모델 중 state-of-the-art 범용 모델입니다. Nemotron-4가 PALM 62B-Cont(Slav Petrov 및 al., 2023)보다 우수하며, XGLM(Lin et al., 2022) 및 mGPT(Shliazhko et al., 2022)와 같은 다국어 전용 모델보다도 성능이 뛰어납니다.
그림 1에서 볼 수 있듯이, Nemotron-4 15B는 다양한 영어, 코드 및 다국어 평가 영역에서 높은 다운스트림 정확도를 보여줍니다. 비슷한 크기의 선도적인 오픈 모델과 비교하여 파라미터 수가 두 배 이상 많은 LLaMA-2 34B(Touvron et al., 2023b)보다 훨씬 뛰어나며, 모든 영어 평가 영역에서 Mistral 7B(Jiang et al., 2023)보다 우수한 성능을 보입니다. 또한 Nemotron-4 15B는 QWEN 14B(Bai et al., 2023) 및 Gemma 7B(Gemma Team, 2024)와 경쟁력 있는 정확도를 달성합니다. 다양한 프로그래밍 언어를 비교한 결과, Nemotron-4 15B는 코드 전용 모델인 Starcoder(Li et al., 2023) 및 Mistral 7B보다 평균 정확도가 높으며, 특히 리소스가 부족한 프로그래밍 언어에서 더 높은 평균 정확도를 달성하는 것으로 나타났습니다. Nemotron-4 15B는 다국어 데이터를 상당량 학습했기 때문에 현재 모든 다국어 벤치마크에서 동급 모델 중 최첨단 범용 모델입니다. Nemotron-4가 PALM 62B-Cont(Slav Petrov 및 al., 2023)보다 우수하며, XGLM(Lin et al., 2022) 및 mGPT(Shliazhko et al., 2022)와 같은 다국어 전용 모델보다도 성능이 뛰어납니다.