\(\bullet\)**DeepSpeed**[74] is a deep learning optimization library (compatible with PyTorch) developed by Microsoft, which has been used to train a number of LLMs, such as MT-NLG [113] and BLOOM [78]. It provides the support of various optimization techniques for distributed training, such as memory optimization (ZeRO technique, gradient checkpointing), and pipeline parallelism.
\(\bullet\)**DeepSpeed**[74]는 Microsoft에서 개발한 딥러닝 최적화 라이브러리(PyTorch와 호환)로, MT-NLG [113] 및 BLOOM [78]과 같은 다수의 Large Language Models (LLMs)을 훈련하는 데 사용되었습니다. 메모리 최적화(ZeRO 기술, gradient checkpointing) 및 pipeline parallelism과 같은 분산 훈련을 위한 다양한 최적화 기술을 지원합니다.
\(\bullet\)**DeepSpeed**[74]는 Microsoft에서 개발한 딥러닝 최적화 라이브러리(PyTorch와 호환)로, MT-NLG [113] 및 BLOOM [78]과 같은 다수의 LLM을 훈련하는 데 사용되었습니다. 메모리 최적화(ZeRO 기술, 그라디언트 체크포인팅) 및 파이프라인 병렬 처리와 같은 분산 훈련을 위한 다양한 최적화 기술을 지원합니다.