related tasks - disregarding an evaluation of their capabilities on other programming languages. In Table 6, we demonstrate results of Nemotron-4 15B on the Multiple-E (Cassano et al., 2023b) benchmark across 11 diverse programming languages and compare it against Mistral 7B and Starcoder (Li et al., 2023), a 15B parameter model that has been specially trained for code. We find that Nemotron-4 15B attains strong coding performance across a wide assortment of programming languages and outperforms both Starcoder and Mistral 7B on average. We especially highlight the superior performance of Nemotron-4 15B on low-resource programming languages such as Scala, Julia, and R.
관련 작업 - 다른 프로그래밍 언어에 대한 기능 평가는 무시합니다. 표 6에서는 11개의 다양한 프로그래밍 언어에 대한 Multiple-E(Cassano et al., 2023b) 벤치마크에서 Nemotron-4 15B의 결과를 보여주고, 코드를 위해 특별히 훈련된 15B 파라미터 모델인 Mistral 7B 및 Starcoder(Li et al., 2023)와 비교합니다. Nemotron-4 15B는 다양한 프로그래밍 언어에서 강력한 코딩 성능을 발휘하며, 평균적으로 Starcoder와 Mistral 7B를 모두 능가하는 성능을 발휘합니다. 특히 Scala, Julia, R과 같은 리소스가 적은 프로그래밍 언어에서 Nemotron-4 15B의 우수한 성능을 강조합니다.
관련 작업 - 다른 프로그래밍 언어에 대한 기능 평가는 무시합니다. 표 6에서는 11개의 다양한 프로그래밍 언어에 대한 다중 E(Cassano et al., 2023b) 벤치마크에서 Nemotron-4 15B의 결과를 보여주고, 코드를 위해 특별히 훈련된 15B 파라미터 모델인 Mistral 7B 및 Starcoder(Li et al., 2023)와 비교합니다. Nemotron-4 15B는 다양한 프로그래밍 언어에서 강력한 코딩 성능을 발휘하며, 평균적으로 Starcoder와 Mistral 7B를 모두 능가하는 성능을 발휘합니다. 특히 스칼라, 줄리아, R과 같은 리소스가 적은 프로그래밍 언어에서 Nemotron-4 15B의 우수한 성능을 강조합니다.