_Remark 9.2_.: It is typically observed in practice that MoE models underperform compared to dense models with the same number of total parameters. We demonstrate that this degradation does not come from the model's knowledge storage capability.
_Remark 9.2_.: 일반적으로 MoE 모델은 동일한 총 매개변수를 가진 밀집 모델에 비해 성능이 떨어지는 것으로 관찰됩니다. 우리는 이 성능 저하가 모델의 지식 저장 능력에서 비롯된 것이 아님을 입증합니다.
_Remark 9.2_.: 일반적으로 실제에서 MoE 모델은 총 파라미터 수가 같은 밀도 모델에 비해 성능이 저하되는 것으로 관찰됩니다. 우리는 이러한 성능 저하가 모델의 지식 저장 기능에서 비롯된 것이 아니라는 것을 증명합니다.