* _Even for large models_, LLaMA architecture's capacity ratio can be 1.3x worse than GPT2, even after optimally tuning learning rates. The results are similar for Mistral. * Reducing GPT2's MLP size by 1/4 has a negligible impact on the capacity ratio. * Removing MLPs decreases the capacity ratio by more than 1.5x.
* _대형 모델의 경우에도_ LLaMA 아키텍처의 용량 비율은 최적화된 Learning Rate 조정 후에도 GPT2보다 1.3배 더 나쁠 수 있습니다. Mistral의 경우도 비슷한 결과가 나타났습니다. * GPT2의 MLP 크기를 1/4로 줄이면 용량 비율에 거의 영향을 미치지 않습니다. * MLP를 제거하면 용량 비율이 1.5배 이상 감소합니다.
* _대형 모델의 경우에도_ LLaMA 아키텍처의 용량 비율은 최적화된 학습 속도 조정 후에도 GPT2보다 1.3배 더 나쁠 수 있습니다. 미스트랄의 경우도 비슷한 결과가 나타났습니다. * GPT2의 MLP 크기를 1/4로 줄이면 용량 비율에 거의 영향을 미치지 않습니다. * MLP를 제거하면 용량 비율이 1.5배 이상 감소합니다.