\(\bullet\)**FastMoE**[192] is a specialized training library for MoE (_i.e._, mixture-of-experts) models. It is developed based on PyTorch, prioritizing both efficiency and user-friendliness in its design. FastMoE simplifies the process of transferring Transformer models to MoE models and supports both data parallelism and model parallelism during training.
\(\bullet\)**FastMoE**[192]는 MoE(_i.e._, mixture-of-experts) 모델을 위한 특수 훈련 라이브러리입니다. 효율성과 사용자 친화성을 모두 고려하여 PyTorch를 기반으로 개발되었습니다. FastMoE는 Transformer 모델을 MoE 모델로 전송하는 과정을 간소화하고 훈련 중에 데이터 병렬 처리와 모델 병렬 처리를 모두 지원합니다.
\(\bullet\)**FastMoE**[192]는 MoE(_i.e._, 전문가 혼합) 모델을 위한 특수 훈련 라이브러리입니다. 효율성과 사용자 친화성을 모두 고려하여 PyTorch를 기반으로 개발되었습니다. FastMoE는 트랜스포머 모델을 MoE 모델로 전송하는 과정을 간소화하고 훈련 중에 데이터 병렬 처리와 모델 병렬 처리를 모두 지원합니다.