An important way to enhance efficiency in modern language models is the incorporation of sparsity. The Mixture of Experts (MoE) architecture plays a crucial role in this regard [9, 30]. A question arises: does the MoE model scale differently in terms of the capacity ratio? For an MoE model, let \(P\) denote the **total number of parameters in the model**, including all experts. Due to its inherent sparsity, the effective number of parameters can be significantly less than \(P\). Our primary observation is that MoE models scale _similarly_ to dense models, even with 32 experts per layer.
최신 언어 모델에서 효율성을 높이는 중요한 방법 중 하나는 희소성을 통합하는 것입니다. Mixture of Experts (MoE) 아키텍처는 이와 관련하여 중요한 역할을 합니다[9, 30]. MoE 모델이 용량 비율 측면에서 다르게 확장되는지에 대한 의문이 제기됩니다. MoE 모델의 경우 모든 전문가를 포함하여 모델의 **총 파라미터 수**를 \(P\)로 표시합니다. MoE 모델은 본질적인 희소성으로 인해 유효 파라미터 수가 \(P\)보다 훨씬 적을 수 있습니다. 우리의 주요 관찰 결과는 MoE 모델이 레이어당 32명의 전문가를 사용하더라도 dense 모델과 _유사하게_ 확장된다는 것입니다.
최신 언어 모델에서 효율성을 높이는 중요한 방법 중 하나는 희소성을 통합하는 것입니다. 전문가 혼합(MoE) 아키텍처는 이와 관련하여 중요한 역할을 합니다[9, 30]. MoE 모델이 용량 비율 측면에서 다르게 확장되는지에 대한 의문이 제기됩니다. MoE 모델의 경우 모든 전문가를 포함하여 모델의 **총 파라미터 수**를 \(P\)로 표시합니다. MoE 모델은 본질적인 희소성으로 인해 유효 파라미터 수가 \(P\)보다 훨씬 적을 수 있습니다. 우리의 주요 관찰 결과는 MoE 모델이 레이어당 32명의 전문가를 사용하더라도 밀도 모델과 _유사하게_ 확장된다는 것입니다.