GPT2 with Smaller MLP.Mistral has a larger MLP layer, and it is often believed that the MLP layer serves primarily for storing knowledge, in contrast to the Attention layer. But is this truly the case?
GPT2는 더 작은 MLP를 가지고 있습니다. Mistral은 더 큰 MLP 레이어를 가지고 있으며, 일반적으로 MLP 레이어는 Attention 레이어와는 달리 주로 지식을 저장하는 역할을 한다고 여겨집니다. 하지만 이것이 정말 사실일까요?
더 작은 MLP를 사용하는 GPT2.Mistral은 MLP 레이어가 더 크며, MLP 레이어는 주로 주의력 레이어와는 달리 지식을 저장하는 역할을 하는 것으로 여겨지는 경우가 많습니다. 하지만 실제로 그런가요?