\(\bullet\)**Colossal-AI**[189] is a deep learning library developed by HPC-AI Tech for training large-scale AI models. It is implemented based on PyTorch and supports a rich collection of parallel training strategies. Furthermore, it can also optimize heterogeneous memory management with methods proposed by PatrickStar [190]. Recently, a ChatGPT-like model called ColossalChat [140] has been publicly released with two versions (7B and 13B), which are developed using Colossal-AI based on LLaMA [57].
• **Colossal-AI**[189]는 대규모 AI 모델을 훈련하기 위해 HPC-AI Tech에서 개발한 딥러닝 라이브러리입니다. 이 라이브러리는 PyTorch를 기반으로 구현되었으며, 다양한 병렬 훈련 전략을 지원합니다. 또한, PatrickStar [190]에서 제안한 방법을 통해 이종 메모리 관리도 최적화할 수 있습니다. 최근에는 LLaMA [57]를 기반으로 Colossal-AI를 사용하여 개발된 ColossalChat [140]이라는 ChatGPT 유사 모델이 두 가지 버전(7B 및 13B)으로 공개되었습니다.
\(\bullet\)**Colossal-AI**[189]는 대규모 AI 모델 학습을 위해 HPC-AI Tech에서 개발한 딥 러닝 라이브러리입니다. PyTorch를 기반으로 구현되었으며 다양한 병렬 학습 전략을 지원합니다. 또한 PatrickStar[190]에서 제안한 방법을 통해 이기종 메모리 관리를 최적화할 수도 있습니다. 최근에는 ColossalChat[140]이라는 ChatGPT와 유사한 모델이 공개되었으며, 이 모델은 LLaMA[57]를 기반으로 Colossal-AI를 사용하여 개발된 두 가지 버전(7B 및 13B)으로 제공됩니다.