\(\bullet\)_Training_. Due to the huge model size, it is very challenging to successfully train a capable LLM. Distributed training algorithms are needed to learn the network parameters of LLMs, in which various parallel strategies are often jointly utilized. To support distributed training, several optimization frameworks have been released to facilitate the implementation and deployment of parallel algorithms, such as DeepSpeed [74] and Megatron-LM [75, 76, 77]. Also, optimization tricks are also important for training stability and model performance, _e.g.,_ restart to overcome training loss spike [56] and mixed precision training [78]. More recently, GPT-4 [46] proposes to develop special infrastructure and optimization methods that reliably predict the performance of large models with much smaller models.
\(\bullet\)_Training_. 모델 크기가 매우 크기 때문에 유능한 LLM을 성공적으로 훈련하는 것은 매우 어렵습니다. LLM의 네트워크 파라미터를 학습하기 위해서는 분산 학습 알고리즘이 필요하며, 이 알고리즘에는 다양한 병렬 전략이 종합적으로 활용되는 경우가 많습니다. 분산 학습을 지원하기 위해 DeepSpeed [74] 및 Megatron-LM [75, 76, 77]과 같이 병렬 알고리즘의 구현과 배포를 용이하게 하기 위한 몇 가지 optimization 프레임워크가 출시되었습니다. 또한 optimization 트릭은 훈련 안정성과 모델 성능에도 중요합니다(예: 훈련 Loss 스파이크 극복을 위한 재시작 [56] 및 혼합 정밀도 훈련 [78]). 최근에는 GPT-4 [46]가 훨씬 작은 모델로 대규모 모델의 성능을 안정적으로 예측할 수 있는 특수 인프라와 optimization 방법을 개발할 것을 제안했습니다.
\(\bullet\)_Training_. 모델 크기가 매우 크기 때문에 유능한 LLM을 성공적으로 훈련하는 것은 매우 어렵습니다. LLM의 네트워크 파라미터를 학습하기 위해서는 분산 학습 알고리즘이 필요하며, 이 알고리즘에는 다양한 병렬 전략이 종합적으로 활용되는 경우가 많습니다. 분산 학습을 지원하기 위해 DeepSpeed [74] 및 Megatron-LM [75, 76, 77]과 같이 병렬 알고리즘의 구현과 배포를 용이하게 하기 위한 몇 가지 최적화 프레임워크가 출시되었습니다. 또한 최적화 트릭은 훈련 안정성과 모델 성능에도 중요합니다(예: 훈련 손실 스파이크 극복을 위한 재시작 [56] 및 혼합 정밀도 훈련 [78]). 최근에는 GPT-4 [46]가 훨씬 작은 모델로 대규모 모델의 성능을 안정적으로 예측할 수 있는 특수 인프라와 최적화 방법을 개발할 것을 제안했습니다.