resulting in the number of activated parameters being approximately 4B. To prevent training from collapsing, an additional load balancing loss (Fedus et al., 2022) is applied to the final training objective. This auxiliary loss is multiplied by 0.01 which is large enough to ensure a balanced distribution of tokens assigned to different experts.
활성화된 파라미터의 수는 약 4B가 됩니다. 훈련이 붕괴되는 것을 방지하기 위해 최종 훈련 objective에 추가 load balancing loss(Fedus et al., 2022)가 적용됩니다. 이 auxiliary loss는 0.01을 곱한 값으로, 서로 다른 전문가에게 할당된 토큰의 분포가 균형을 이룰 수 있도록 충분히 큽니다.
활성화된 파라미터의 수는 약 4B가 됩니다. 훈련이 붕괴되는 것을 방지하기 위해 최종 훈련 목표에 추가 부하 분산 손실(Fedus et al., 2022)이 적용됩니다. 이 보조 손실은 0.01을 곱한 값으로, 서로 다른 전문가에게 할당된 토큰의 분포가 균형을 이룰 수 있도록 충분히 큽니다.