Nemotron-4 uses a standard decoder-only Transformer architecture (Vaswani et al., 2017), with causal attention masks. Exact hyper-parameters affecting size are shown in Table 1. Nemotron-4 has 3.2 billion embedding parameters and 12.5 billion non-embedding parameters. We use Rotary Position Embeddings (RoPE) (Su et al., 2021), SentencePiece tokenizer (Kudo and Richardson, 2018), squared ReLU activations in the MLP layers, no bias terms, dropout rate of zero, and untied input-output embeddings.
네모트론-4는 인과적 attention 마스크가 있는 표준 decoder 전용 Transformer 아키텍처(Vaswani et al., 2017)를 사용합니다. 크기에 영향을 미치는 정확한 하이퍼 파라미터는 표 1에 나와 있습니다. 네모트론-4는 32억 개의 embedding 파라미터와 125억 개의 비-embedding 파라미터를 가지고 있습니다. Rotary Position Embeddings (RoPE)(Su et al., 2021), SentencePiece tokenizer (Kudo and Richardson, 2018), MLP 레이어의 제곱 ReLU 활성화, 바이어스 항 없음, 드롭아웃 비율 0, 연결되지 않은 입력-출력 embedding을 사용합니다.
네모트론-4는 인과적 주의 마스크가 있는 표준 디코더 전용 트랜스포머 아키텍처(Vaswani et al., 2017)를 사용합니다. 크기에 영향을 미치는 정확한 하이퍼 파라미터는 표 1에 나와 있습니다. 네모트론-4는 32억 개의 임베딩 파라미터와 125억 개의 비임베딩 파라미터를 가지고 있습니다. 로터리 포지션 임베딩(RoPE)(Su et al., 2021), 문장 조각 토큰라이저(Kudo and Richardson, 2018), MLP 레이어의 제곱 ReLU 활성화, 바이어스 항 없음, 드롭아웃 비율 0, 연결되지 않은 입력-출력 임베딩을 사용합니다.