We present Nemotron-4 15B, a decoder-only transformer-based large language model. It is trained on 8 trillion tokens spanning English, 53 additional natural languages as well as 43 programming languages. Nemotron-4 15B exhibits the strongest multilingual performance of any general purpose language model at its scale - even outperforming models specialized for the multilingual domain. Nemotron-4 demonstrates that pre-training sets for large language models can continue to be scaled up even further in order to improve the abilities of models.
디코더 전용 Transformer 기반 Large Language Model인 Nemotron-4 15B를 소개합니다. 이 모델은 영어, 53개의 자연어 및 43개의 프로그래밍 언어를 포함한 8조 토큰에 걸쳐 학습되었습니다. Nemotron-4 15B는 멀티링구 도메인에 특화된 모델보다 더 나은 성능을 발휘하는 범용 언어 모델 중 가장 강력한 다국어 성능을 보여줍니다. Nemotron-4는 Large Language Models의 사전 학습 세트를 계속 확장하여 모델의 기능을 향상시킬 수 있음을 보여줍니다.
디코더 전용 트랜스포머 기반 대규모 언어 모델인 Nemotron-4 15B를 소개합니다. 이 모델은 영어, 53개의 자연어 및 43개의 프로그래밍 언어를 포함한 8조 토큰에 걸쳐 학습되었습니다. Nemotron-4 15B는 멀티링구 도메인에 특화된 모델보다 더 나은 성능을 발휘하는 범용 언어 모델 중 가장 강력한 다국어 성능을 보여줍니다. Nemotron-4는 대규모 언어 모델의 사전 학습 세트를 계속 확장하여 모델의 기능을 향상시킬 수 있음을 보여줍니다.