**ColossalAI** library [226] provides a collection of parallel components. It aims to support developers to write their distributed deep learning models just like how they write their model on their laptop. They provide user-friendly tools to kickstart distributed training and inference in a few lines. In terms of Parallelism strategies, they support: Data Parallelism, Pipeline Parallelism, Sequence Parallelism, Zero Redundancy Optimizer (ZeRO) [140], and Auto-Parallelism.
**ColossalAI** 라이브러리 [226]는 병렬 컴포넌트 모음을 제공합니다. 이 라이브러리는 개발자가 노트북에서 모델을 작성하는 것처럼 분산 딥러닝 모델을 작성할 수 있도록 지원하는 것을 목표로 합니다. 몇 줄의 코드만으로 분산 학습 및 추론을 시작할 수 있는 사용자 친화적인 도구를 제공합니다. 병렬화 전략 측면에서 Data Parallelism, Pipeline Parallelism, Sequence Parallelism, Zero Redundancy Optimizer (ZeRO) [140] 및 Auto-Parallelism을 지원합니다.
**ColossalAI** 라이브러리 [226]는 병렬 컴포넌트 모음을 제공합니다. 이 라이브러리는 개발자가 노트북에서 모델을 작성하는 것처럼 분산 딥러닝 모델을 작성할 수 있도록 지원하는 것을 목표로 합니다. 몇 줄의 코드만으로 분산 학습 및 추론을 시작할 수 있는 사용자 친화적인 도구를 제공합니다. 병렬화 전략 측면에서 데이터 병렬화, 파이프라인 병렬화, 시퀀스 병렬화, 제로 리던던시 최적화 도구(ZeRO) [140] 및 자동 병렬화를 지원합니다.