As the model and data sizes increase, it has become challenging to efficiently train LLMs under a limited computational resource. Especially, two primary technical issues are required to be resolved, _i.e.,_ increasing training throughput and loading larger models into GPU memory. In this part, we review several widely used approaches in existing work to address the above two challenges, namely 3D parallelism [75, 331, 332], ZeRO [333], and mixed precision training [334], and also give general suggestions about how to utilize them for training.
모델과 데이터의 크기가 커짐에 따라 제한된 계산 리소스에서 LLM을 효율적으로 훈련하는 것이 점점 더 어려워지고 있습니다. 특히, 훈련 처리량을 늘리고 더 큰 모델을 GPU 메모리에 로드하는 두 가지 주요 기술적 문제를 해결해야 합니다. 이 부분에서는 위의 두 가지 과제를 해결하기 위해 기존 연구에서 널리 사용되는 몇 가지 접근 방식, 즉 3D parallelism[75, 331, 332], ZeRO[333], mixed precision training[334]을 검토하고 이를 활용하는 방법에 대한 일반적인 제안도 제공합니다.
모델과 데이터의 크기가 커짐에 따라 제한된 계산 리소스에서 LLM을 효율적으로 훈련하는 것이 점점 더 어려워지고 있습니다. 특히, 훈련 처리량을 늘리고 더 큰 모델을 GPU 메모리에 로드하는 두 가지 주요 기술적 문제를 해결해야 합니다. 이 부분에서는 위의 두 가지 과제를 해결하기 위해 기존 연구에서 널리 사용되는 몇 가지 접근 방식, 즉 3D 병렬 처리[75, 331, 332], ZeRO[333], 혼합 정밀도 훈련[334]을 검토하고 이를 활용하는 방법에 대한 일반적인 제안도 제공합니다.