Mixture-of-ExperstThe mixture-of-experts (MoE) architecture has gained popularity with demonstrated superior performance compared to its dense counterpart [14, 15]. It would be highly beneficial to derive a similar scaling law applicable to the MoE architecture. In MoE architectures, each input interacts with only a subset of the network's parameters - chosen independently for each datapoint [12, 1]. This changing of the architecture would inevitably impact the form of \(L(N)\) because both the number of both activated and total parameters influence the loss values [10]. The following steps, such as Eq 3.9 and Eq 3.10 are general and should not be affected.
혼합-오브-전문가혼합 전문가(MoE) 아키텍처는 밀집형 아키텍처에 비해 우수한 성능을 입증하여 인기를 얻고 있습니다[14, 15]. MoE 아키텍처에 적용되는 유사한 scaling law를 도출하는 것은 매우 유익할 것입니다. MoE 아키텍처에서 각 입력은 네트워크 파라미터의 하위 집합과만 상호 작용하며, 각 데이터 포인트에 대해 독립적으로 선택됩니다[12, 1]. 이러한 아키텍처의 변화는 활성화된 파라미터의 수와 총 파라미터의 수가 모두 loss 값에 영향을 미치기 때문에 필연적으로 \(L(N)\)의 형태에 영향을 미칠 것입니다. 3.9 방정식 및 3.10 방정식과 같은 다음 단계는 일반적이며 영향을 받지 않아야 합니다.
혼합-오브-전문가혼합 전문가(MoE) 아키텍처는 밀집형 아키텍처에 비해 우수한 성능을 입증하여 인기를 얻고 있습니다[14, 15]. MoE 아키텍처에 적용되는 유사한 스케일링 법칙을 도출하는 것은 매우 유익할 것입니다. MoE 아키텍처에서 각 입력은 네트워크 파라미터의 하위 집합과만 상호 작용하며, 각 데이터 포인트에 대해 독립적으로 선택됩니다[12, 1]. 이러한 아키텍처의 변화는 활성화된 파라미터의 수와 총 파라미터의 수가 모두 손실 값에 영향을 미치기 때문에 필연적으로 \(L(N)\)의 형태에 영향을 미칠 것입니다. 3.9 방정식 및 3.10 방정식과 같은 다음 단계는 일반적이며 영향을 받지 않아야 합니다.