1. LLaMA/Mistral use so-called GatedMLP layers, which is \(V(\sigma(W_{1}x)\cdot(W_{2}x))\) instead of \(V\sigma(Wx)\). Shazeer [29] suggested that gated activation might yield marginally improved performance. 2. Unlike GPT2, LLaMA/Mistral do not tie weights. 3. Mistral features larger MLP layers compared to GPT2/LLaMA. 4. Mistral promotes group-query attention, not so by GPT2/LLaMA. 5. LLaMA/Mistral employ a different tokenizer than GPT2. 6. GPT2 uses the \(gelu\) activation function, LLaMA/Mistral opt for \(silu\). 7. GPT2 implements layer normalization with a trainable bias.
1. LLaMA/Mistral은 소위 GatedMLP 레이어를 사용하는데, 이는 \(V(\sigma(W_{1}x)\cdot(W_{2}x))\) 대신 \(V\sigma(Wx)\)를 사용합니다. Shazeer [29]는 gated activation이 약간 향상된 성능을 제공할 수 있다고 제안했습니다. 2. GPT2와 달리 LLaMA/Mistral은 가중치를 연결하지 않습니다. 3. Mistral은 GPT2/LLaMA에 비해 더 큰 MLP 레이어를 특징으로 합니다. 4. Mistral은 group-query attention을 촉진하지만 GPT2/LLaMA는 그렇지 않습니다. 5. LLaMA/Mistral은 GPT2와 다른 tokenizer를 사용합니다. 6. GPT2는 \(gelu\) activation function을 사용하고, LLaMA/Mistral은 \(silu\)를 선택합니다. 7. GPT2는 학습 가능한 바이어스를 사용하여 layer normalization을 구현합니다.
1. LLaMA/Mistral은 소위 게이트드MLP 레이어를 사용하는데, 이는 \(V(\sigma(W_{1}x)\cdot(W_{2}x))\) 대신 \(V\sigma(Wx)\)를 사용합니다. Shazeer [29]는 게이트 활성화가 약간 향상된 성능을 제공할 수 있다고 제안했습니다. 2. GPT2와 달리 LLaMA/Mistral은 가중치를 연결하지 않습니다. 3. Mistral은 GPT2/LLaMA에 비해 더 큰 MLP 레이어를 특징으로 합니다. 4. Mistral은 그룹 쿼리 주의를 촉진하지만 GPT2/LLaMA는 그렇지 않습니다. 5. LLaMA/Mistral은 GPT2와 다른 토큰화기를 사용합니다. 6. GPT2는 \(gelu\) 활성화 함수를 사용하고, LLaMA/Mistral은 \(silu\)를 선택합니다. 7. GPT2는 학습 가능한 바이어스를 사용하여 레이어 정규화를 구현합니다.