**Initialization.** MiniCPM-MoE is initialized utilizing Sparse Upcycling (Komatsuzaki et al., 2022). The dense model checkpoint, derived from the stable phase of MiniCPM, undergoes a transformation wherein each MLP layer is substituted by an MoE layer. These new MoE layers are exact replicas of the original MLP layers from the dense checkpoint. The router parameters are randomly initialized following a normal distribution with a mean of 0 and a variance of 0.01.
**초기화**. MiniCPM-MoE는 Sparse Upcycling(Komatsuzaki et al., 2022)을 사용하여 초기화됩니다. MiniCPM의 안정적인 단계에서 파생된 dense 모델 checkpoint는 각 MLP layer가 MoE layer로 대체되는 변환을 거칩니다. 이러한 새로운 MoE layer는 dense checkpoint의 원래 MLP layer와 정확히 동일합니다. router 파라미터는 평균이 0이고 분산이 0.01인 정규 분포에 따라 무작위로 초기화됩니다.
**초기화**. MiniCPM-MoE는 스파스 업사이클링(Komatsuzaki et al., 2022)을 사용하여 초기화됩니다. MiniCPM의 안정적인 단계에서 파생된 밀도 모델 체크포인트는 각 MLP 레이어가 MoE 레이어로 대체되는 변환을 거칩니다. 이러한 새로운 MoE 레이어는 밀도 체크포인트의 원래 MLP 레이어와 정확히 동일합니다. 라우터 파라미터는 평균이 0이고 분산이 0.01인 정규 분포에 따라 무작위로 초기화됩니다.