For other model architectures, Mistral, GPT2\({}_{0}\), and GPT2\({}_{1/4}\), their scaling laws in the 100-exposure setting are presented in Figure 4. Figure 4(c) confirms that the Mistral architecture also underperforms GPT2 due to its use of gated MLP. Figure 4(d) reveals that reducing GPT2\({}_{1/4}\)'s MLP layer size by a quarter has a _negligible impact_ on model capacity. However, removing the MLP layers entirely in GPT2\({}_{0}\) significantly reduces the model's capacity, see Figure 4(e).
다른 모델 아키텍처의 경우, 100 노출 설정에서 Mistral, GPT2\({}_{0}\), GPT2\({}_{1/4}\)의 scaling laws는 그림 4에 나와 있습니다. 그림 4(c)는 게이트형 MLP를 사용하기 때문에 Mistral 아키텍처도 GPT2보다 성능이 저하되는 것을 확인할 수 있습니다. 그림 4(d)는 GPT2\({}_{1/4}\)의 MLP 레이어 크기를 4분의 1로 줄이면 모델 용량에 _무시할 수 있는 영향_을 미친다는 것을 보여줍니다. 그러나 GPT2\({}_{0}\)에서 MLP 레이어를 완전히 제거하면 모델 용량이 크게 감소하는 것으로 나타났습니다.
다른 모델 아키텍처의 경우, 100 노출 설정에서 Mistral, GPT2\({}_{0}\), GPT2\({}_{1/4}\)의 스케일링 법칙은 그림 4에 나와 있습니다. 그림 4(c)는 게이트형 MLP를 사용하기 때문에 Mistral 아키텍처도 GPT2보다 성능이 저하되는 것을 확인할 수 있습니다. 그림 4(d)는 GPT2\({}_{1/4}\)의 MLP 레이어 크기를 4분의 1로 줄이면 모델 용량에 _무시할 수 있는 영향_을 미친다는 것을 보여줍니다. 그러나 GPT2\({}_{0}\)에서 MLP 레이어를 완전히 제거하면 모델 용량이 크게 감소하는 것으로 나타났습니다.