* LLaMA architecture performs comparably to GPT2, albeit slightly inferior for the tiny model (i.e., \(<\) 10M). This discrepancy can be mitigated by also requiring LLaMA architecture to tie weights, as shown in Figure 3(c) compared to Figure 3(b). * A similar observation applies to Mistral architecture (see Figure 3(d)). * Reducing the MLP size of GPT2 architecture by 1/4 or even eliminating all MLP layers _does not affect_ its capacity ratio, see Figure 3(e) and Figure 3(f). This suggests, contrary to conventional beliefs, the Attention layers are also capable of storing knowledge.
* LLaMA architecture는 작은 모델(즉, \(<\) 10M)의 경우 약간 열등하지만 GPT2와 비슷한 성능을 제공합니다. 이러한 차이는 그림 3(b)와 비교하여 그림 3(c)에서 볼 수 있듯이 LLaMA architecture가 가중치를 묶도록 요구함으로써 완화할 수 있습니다. * Mistral architecture에도 비슷한 관찰 결과가 적용됩니다(그림 3(d) 참조). * GPT2 architecture의 MLP 크기를 1/4로 줄이거나 모든 MLP 레이어를 제거해도 용량 비율에는 영향을 미치지 않습니다(그림 3(e) 및 그림 3(f) 참조). 이는 기존의 믿음과는 달리 Attention 계층도 지식을 저장할 수 있음을 시사합니다.
* LLaMA 아키텍처는 작은 모델(즉, \(<\) 10M)의 경우 약간 열등하지만 GPT2와 비슷한 성능을 제공합니다. 이러한 차이는 그림 3(b)와 비교하여 그림 3(c)에서 볼 수 있듯이 LLaMA 아키텍처가 가중치를 묶도록 요구함으로써 완화할 수 있습니다. * 미스트랄 아키텍처에도 비슷한 관찰 결과가 적용됩니다(그림 3(d) 참조). * GPT2 아키텍처의 MLP 크기를 1/4로 줄이거나 모든 MLP 레이어를 제거해도 용량 비율에는 영향을 미치지 않습니다(그림 3(e) 및 그림 3(f) 참조). 이는 기존의 믿음과는 달리 주의력 계층도 지식을 저장할 수 있음을 시사합니다.