**3D Parallelism.** 3D parallelism is actually a combination of three commonly used parallel training techniques, namely data parallelism, pipeline parallelism [331, 332], and tensor parallelism [75]24. We next introduce the three parallel training techniques.
**3D Parallelism.** 3D Parallelism은 실제로 데이터 병렬성, 파이프라인 병렬성[331, 332] 및 텐서 병렬성[75]24의 세 가지 일반적으로 사용되는 병렬 훈련 기법의 조합입니다. 다음에서는 세 가지 병렬 훈련 기법을 소개합니다.
**3D 병렬성.** 3D 병렬성은 실제로 데이터 병렬성, 파이프라인 병렬성[331, 332] 및 텐서 병렬성[75]24의 세 가지 일반적으로 사용되는 병렬 훈련 기법의 조합입니다. 다음에서는 세 가지 병렬 훈련 기법을 소개합니다.