Consider, for instance, GPT2, but with its MLP layer (\(d\to 4d\to d\)) replaced by 32 experts, each following a \(d\to d\to d\) configuration. This setup uses \(64d^{2}\) total parameters, but during inference, only \(2d^{2}\) parameters are used per token (e.g., when using \(topk=1\)). After including the Attention layers, which each have \(4d^{2}\) parameters, the ratio between the total and the effective number of parameters for the 32-expert MoE models is approximately \(\frac{4d^{2}+64d^{2}}{4d^{2}+2d^{2}}\approx 11.3\).
예를 들어, GPT2를 고려해보자. 그러나 MLP 레이어(\(d\to 4d\to d\))를 32명의 전문가로 대체하고, 각 전문가는 \(d\to d\to d\) 구성을 따릅니다. 이 설정은 총 \(64d^{2}\) 파라미터를 사용하지만, 추론 중에는 토큰당 \(2d^{2}\) 파라미터만 사용됩니다 (예: \(topk=1\)을 사용할 때). Attention 레이어를 포함하면, 각 레이어는 \(4d^{2}\) 파라미터를 가지므로, 32-전문가 MoE 모델의 총 파라미터 수와 실제 사용되는 파라미터 수의 비율은 대략 \(\frac{4d^{2}+64d^{2}}{4d^{2}+2d^{2}}\approx 11.3\)입니다.
예를 들어, GPT2를 생각해 보겠지만 MLP 레이어(\(d\to 4d\to d\))가 32개의 전문가로 대체되어 각각 \(d\to d\to d\) 구성을 따릅니다. 이 설정은 총 파라미터로 \(64d^{2}\)를 사용하지만, 추론 중에는 토큰당 \(2d^{2}\) 파라미터만 사용됩니다(예: \(topk=1\) 사용 시). 각각 \(4d^{2}\) 파라미터를 갖는 Attention 레이어를 포함하면 32개 전문가 MoE 모델의 총 파라미터 수와 유효 파라미터 수 사이의 비율은 약 \(\frac{4d^{2}+64d^{2}}{4d^{2}+2d^{2}}\약 11.3\)입니다.