1. LLaMA and Mistral employ MLP layers with gated activation, using \(V(\sigma(W_{1}x)\cdot(W_{2}x))\) instead of \(V\sigma(Wx)\). Shazeer [29] noted that gated activation appears to yield slightly better performance. 2. Unlike GPT2, which ties the weights of the embedding layer and the output (LMHead) layer, LLaMA and Mistral do not. 3. For a hidden dimension \(d\), GPT2/LLaMA have \(4d^{2}\) parameters in the attention layer and \(8d^{2}\) in the MLP layer, whereas Mistral allocates a larger \(10.5d^{2}\) for its MLP layer. 4. Mistral promotes group-query attention (e.g., using 4 groups, thus reducing the K/V matrices to \(d^{2}/4\) in size), unlike GPT2. LLaMA does not favor multi-query attention unless in its very large models, such as the 70B variant. 5. LLaMA and Mistral utilize different tokenizers compared to GPT2, with Mistral's tokenizer being nearly identical to LLaMA's. 6. GPT2 employs \(\sigma=gelu\), while LLaMA/Mistral use \(\sigma=silu\). 7. GPT2 incorporates layer normalization with trainable bias, which LLaMA/Mistral do not.
1. LLaMA와 Mistral은 게이트 activation이 있는 MLP 레이어를 사용하며, \(V\sigma(Wx)\) 대신 \(V(\sigma(W_{1}x)\cdot(W_{2}x))\)를 사용합니다. Shazeer [29]는 게이트 activation이 약간 더 나은 성능을 제공하는 것으로 나타났다고 언급했습니다. 2. 임베딩 레이어와 출력(LMHead) 레이어의 가중치를 묶는 GPT2와 달리 LLaMA와 Mistral은 그렇지 않습니다. 3. 숨겨진 차원 \(d\)의 경우, GPT2/LLaMA는 attention 계층에 \(4d^{2}\) 파라미터를, MLP 계층에 \(8d^{2}\) 파라미터를 할당하는 반면, Mistral은 MLP 계층에 더 큰 \(10.5d^{2}\)를 할당합니다. 4. Mistral은 GPT2와 달리 그룹 쿼리 attention(예: 4개의 그룹을 사용하여 K/V 행렬의 크기를 \(d^{2}/4\)로 줄임)을 촉진합니다. LLaMA는 70B 변형과 같은 매우 큰 모델이 아닌 한 다중 쿼리 attention을 선호하지 않습니다. 5. LLaMA와 Mistral은 GPT2에 비해 다른 tokenizer를 사용하며, Mistral의 tokenizer는 LLaMA의 tokenizer와 거의 동일합니다. 6. GPT2는 \(\sigma=gelu\)를 사용하는 반면, LLaMA/Mistral은 \(\sigma=silu\)를 사용합니다. 7. GPT2는 훈련 가능한 바이어스가 있는 layer normalization을 통합하는 반면, LLaMA/Mistral은 그렇지 않습니다.
1. LLaMA와 Mistral은 게이트 활성화가 있는 MLP 레이어를 사용하며, \(V\sigma(Wx)\) 대신 \(V(\sigma(W_{1}x)\cdot(W_{2}x))\)를 사용합니다. Shazeer [29]는 게이트 활성화가 약간 더 나은 성능을 제공하는 것으로 나타났다고 언급했습니다. 2. 임베딩 레이어와 출력(LMHead) 레이어의 가중치를 묶는 GPT2와 달리 LLaMA와 Mistral은 그렇지 않습니다. 3. 숨겨진 차원 \(d\)의 경우, GPT2/LLaMA는 주의 계층에 \(4d^{2}\) 파라미터를, MLP 계층에 \(8d^{2}\) 파라미터를 할당하는 반면, Mistral은 MLP 계층에 더 큰 \(10.5d^{2}\)를 할당합니다. 4. Mistral은 GPT2와 달리 그룹 쿼리 주의(예: 4개의 그룹을 사용하여 K/V 행렬의 크기를 \(d^{2}/4\)로 줄임)를 촉진합니다. LLaMA는 70B 변형과 같은 매우 큰 모델이 아닌 한 다중 쿼리 주의를 선호하지 않습니다. 5. LLaMA와 Mistral은 GPT2에 비해 다른 토큰화기를 사용하며, Mistral의 토큰화기는 LLaMA의 토큰화기와 거의 동일합니다. 6. GPT2는 \(\sigma=gelu\)를 사용하는 반면, LLaMA/Mistral은 \(\sigma=silu\)를 사용합니다. 7. GPT2는 훈련 가능한 바이어스가 있는 레이어 정규화를 통합하는 반면, LLaMA/Mistral은 그렇지 않습니다.