ArchitectureWe train decoder-only transformer models (Vaswani et al., 2017) at three different scales, small, medium and XL. The small-scale (128M parameter) model consists of 12 layers, 12 attention heads, and a hidden dimension size of 768. The medium-scale (350M parameter) model consists of 24 layers, 16 attention heads, and a hidden dimension sizeof 1024. The XL-scale (1.3B parameter) model consists of 24 layers, 16 attention heads, and a hidden dimension size of 2048. We do not use dropout in either model and a maximum sequence length of 1024. The models are trained using NVIDIA's Megatron-LM repository.
아키텍처 우리는 세 가지 규모(소형, 중형, XL)에서 decoder-only Transformer 모델(Vaswani et al., 2017)을 훈련합니다. 소규모(파라미터 1억 2,800만 개) 모델은 12개의 레이어, 12개의 attention heads, 768의 숨겨진 차원 크기로 구성됩니다. 중간 규모(파라미터 3억 5천만 개) 모델은 24개의 레이어, 16개의 attention heads, 1024의 숨겨진 차원 크기로 구성됩니다. XL 규모(파라미터 13억 개) 모델은 24개의 레이어, 16개의 attention heads, 2048의 숨겨진 차원 크기로 구성됩니다. 두 모델 모두 dropout을 사용하지 않으며 최대 시퀀스 길이는 1024입니다. 모델은 NVIDIA의 Megatron-LM 리포지토리를 사용하여 훈련됩니다.
아키텍처우리는 세 가지 규모(소형, 중형, XL)에서 디코더 전용 트랜스포머 모델(Vaswani et al., 2017)을 훈련합니다. 소규모(파라미터 1억 2,800만 개) 모델은 12개의 레이어, 12개의 주의 헤드, 768의 숨겨진 차원 크기로 구성됩니다. 중간 규모(파라미터 3억 5천만 개) 모델은 24개의 레이어, 16개의 주의 헤드, 1024의 숨겨진 차원 크기로 구성됩니다. XL 규모(파라미터 13억 개) 모델은 24개의 레이어, 16개의 주의 헤드, 2048의 숨겨진 차원 크기로 구성됩니다. 두 모델 모두 드롭아웃을 사용하지 않으며 최대 시퀀스 길이는 1024입니다. 모델은 NVIDIA의 Megatron-LM 리포지토리를 사용하여 훈련됩니다.