Data.We train Nemotron-4 15B on a pre-training dataset consisting of 8 trillion tokens. At a high-level, the data blend is split into three different types of data: English natural language data (70%), multilingual natural language data (15%), and source-code data (15%).
데이터. 우리는 8조 개의 토큰으로 구성된 사전 학습 데이터셋에서 Nemotron-4 15B를 훈련시킵니다. 고수준에서 데이터 블렌드는 세 가지 다른 유형의 데이터로 나뉩니다: 영어 자연어 데이터 (70%), 다국어 자연어 데이터 (15%), 소스 코드 데이터 (15%).
데이터.8조 토큰으로 구성된 사전 학습 데이터 세트에 대해 Nemotron-4 15B를 학습합니다. 개괄적으로 데이터 혼합물은 영어 자연어 데이터(70%), 다국어 자연어 데이터(15%), 소스 코드 데이터(15%)의 세 가지 유형의 데이터로 나뉩니다.