1. **No biases.** Following LLaMA, PaLM, and others, we exclude all bias terms from our architecture in order to improve training stability. 2. **Non-parametric layer norm.** We use the non-parametric formulation of layer norm (Ba et al., 2016) in which there is no affine transformation within the norm, i.e. no "adaptive gain" (or bias). We believe this was the safest option and it was also the fastest compared to the other variants we considered: parametric layer norm and RMSNorm (Zhang and Sennrich, 2019). 3. **SwiGLU activation function.** Like LLaMA, PaLM, and others we use the SwiGLU activation function (Shazeer, 2020) instead of ReLU, and following LLaMA the activation hidden size is approximately \(\frac{8}{3}d\), but increased to the closest multiple of 128 (e.g. 11,008 for our 7B model) to improve throughput.2 Footnote 2: Since SwiGLU is a “gated” activation function, the output is half the size of the input. So technically our inputs to SwiGLU have a dimensionality of 2 \(\times\) 11,008 = 22,016 for our 7B model. 4. **Rotary positional embeddings (RoPE).** Like LLaMA, PaLM, and others we replace absolute positional embeddings with rotary positional embeddings (RoPE; Su et al., 2021). 5. **Vocabulary.** We use a modified version of the BPE-based tokenizer from GPT-NeoX-20B (Black et al., 2022) with additional tokens for masking personal identifiable information (PII). The final vocabulary size is 50,280. However, to maximize training throughput we increase the size of the corresponding embedding matrix in our model to 50,304 so that it's a multiple of 128.
1. **편향 없음**. LLaMA, PaLM 등에 따라 훈련 안정성을 개선하기 위해 아키텍처에서 모든 bias 항을 제외합니다. 2. **비모수 layer norm**. 노름 내에서 아핀 변환이 없는 비모수 공식인 layer norm (Ba et al., 2016)을 사용합니다. 즉, "적응적 이득"(또는 bias)이 없습니다. 우리는 이것이 가장 안전한 옵션이라고 생각했으며, 우리가 고려한 다른 변형인 파라메트릭 layer norm과 RMSNorm(Zhang and Sennrich, 2019)에 비해 가장 빠르다는 것도 확인했습니다. 3. **SwiGLU 활성화 함수**. LLaMA, PaLM 등과 마찬가지로 ReLU 대신 SwiGLU 활성화 함수(Shazeer, 2020)를 사용하며, LLaMA에 따라 활성화 숨겨진 크기는 대략 \(\frac{8}{3}d\)이지만 처리량을 개선하기 위해 128의 가장 가까운 배수로 증가합니다.2 각주 2: SwiGLU는 "게이트" 활성화 함수이므로 출력은 입력의 절반 크기입니다. 따라서 기술적으로 SwiGLU에 대한 입력의 차원은 2 \(\배\) 11,008 = 22,016이며, 7B 모델의 경우 22,016입니다. 4. **Rotary positional embeddings (RoPE)**. LLaMA, PaLM 등과 마찬가지로 절대 positional embeddings을 rotary positional embeddings (RoPE; Su et al., 2021)으로 대체합니다. 5. **어휘**. 개인 식별 정보(PII)를 마스킹하기 위해 추가 토큰이 있는 GPT-NeoX-20B(Black et al., 2022)의 BPE 기반 tokenizer의 수정된 버전을 사용합니다. 최종 어휘 크기는 50,280입니다. 그러나 훈련 처리량을 극대화하기 위해 모델에 해당 embedding 행렬의 크기를 50,304로 늘려 128의 배수가 되도록 합니다.
1. **편향 없음**. LLaMA, PaLM 등에 따라 훈련 안정성을 개선하기 위해 아키텍처에서 모든 바이어스 항을 제외합니다. 2. **비모수 레이어 규범**. 노름 내에서 아핀 변환이 없는 비모수 공식인 레이어 노름(Ba et al., 2016)을 사용합니다. 즉, "적응적 이득"(또는 바이어스)이 없습니다. 우리는 이것이 가장 안전한 옵션이라고 생각했으며, 우리가 고려한 다른 변형인 파라메트릭 레이어 노름과 RMSNorm(Zhang and Sennrich, 2019)에 비해 가장 빠르다는 것도 확인했습니다. 3. **SwiGLU 활성화 함수**. LLaMA, PaLM 등과 마찬가지로 ReLU 대신 SwiGLU 활성화 함수(Shazeer, 2020)를 사용하며, LLaMA에 따라 활성화 숨겨진 크기는 대략 \(frac{8}{3}d\)이지만 처리량을 개선하기 위해 128의 가장 가까운 배수로 증가합니다.2 각주 2: SwiGLU는 "게이트" 활성화 함수이므로 출력은 입력의 절반 크기입니다. 따라서 기술적으로 SwiGLU에 대한 입력의 차원은 2 \(\배\) 11,008 = 22,016이며, 7B 모델의 경우 22,016입니다. 4. **로터리 위치 임베딩(RoPE).** LLaMA, PaLM 등과 마찬가지로 절대 위치 임베딩을 로터리 위치 임베딩(RoPE; Su et al., 2021)으로 대체합니다. 5. **어휘.** 개인 식별 정보(PII)를 마스킹하기 위해 추가 토큰이 있는 GPT-NeoX-20B(Black et al., 2022)의 BPE 기반 토큰라이저의 수정된 버전을 사용합니다. 최종 어휘 크기는 50,280입니다. 그러나 훈련 처리량을 극대화하기 위해 모델에 해당 임베딩 행렬의 크기를 50,304로 늘려 128의 배수가 되도록 합니다.