모델 병렬화와 데이터 병렬화의 장점을 섞은 하이브리드 병렬화(Hybrid Parallelism) 방식 또한 제안되었으며 하나의 병렬화 방식만 적용한 것보다 실험적으로 빠른 트레이닝 시간을 보였다.
A hybrid parallelism method, which combines the advantages of model parallelism and data parallelism, was also proposed, and showed experimentally faster training time than one parallelization method was applied.